Ubuntu HDFS集群怎样搭建

以下是在Ubuntu上搭建HDFS集群的步骤：

1. 安装Java：使用sudo apt update和sudo apt install openjdk-8-jdk安装OpenJDK 8，并通过java -version验证安装。
2. 配置主机名和IP映射：在每台服务器上使用sudo nano /etc/hostname设置主机名，在/etc/hosts中添加主机名和IP的映射关系。
3. 安装和配置SSH：安装OpenSSH Server，生成SSH密钥对，并将公钥复制到其他节点，实现免密登录。
4. 下载和解压Hadoop：从Apache官网下载Hadoop安装包，如wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz，然后解压到指定目录。
5. 配置Hadoop环境变量：编辑~/.bashrc或/etc/profile，添加export HADOOP_HOME=/path/to/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，并使用source命令使配置生效。
6. 修改Hadoop配置文件：
   • core-site.xml：设置fs.defaultFS为hdfs://主机名:9000，指定hadoop.tmp.dir。
   • hdfs-site.xml：配置dfs.replication、dfs.namenode.name.dir、dfs.datanode.data.dir等属性。
   • yarn-site.xml：设置yarn.nodemanager.aux - services为mapreduce_shuffle，指定yarn.resourcemanager.hostname。
7. 配置slaves文件：在主节点的$HADOOP_HOME/etc/hadoop/slaves文件中添加所有DataNode的主机名。
8. 格式化NameNode：在主节点上执行hdfs namenode -format，仅在首次启动时执行。
9. 启动集群：在主节点上运行start-dfs.sh和start-yarn.sh启动HDFS和YARN服务。
10. 验证集群：使用jps命令查看进程，访问http://主节点IP:50070查看HDFS Web界面，确认集群状态正常。