Hadoop Linux集群如何扩容

Hadoop Linux集群扩容指南

一、前期准备工作

1. 环境检查：确保新节点与现有集群的**操作系统版本、Hadoop版本、Java版本（建议JDK 8及以上）**一致；安装必要的依赖（如ssh、rsync）。
2. 网络与权限配置：
   • 在所有节点的/etc/hosts文件中添加新节点的IP与主机名映射（如192.168.1.13 node03），确保主机名解析正确。
   • 配置SSH免密登录（主节点生成密钥对，将公钥拷贝至新节点：ssh-copy-id user@node03），测试ssh node03 hostname能无密码执行。
3. Hadoop安装：将现有集群的Hadoop安装包拷贝至新节点（如scp -r /opt/hadoop user@node03:/opt/），并设置环境变量（HADOOP_HOME、PATH），通过hadoop version验证安装。

二、配置新节点加入集群

1. 同步配置文件：将主节点的$HADOOP_HOME/etc/hadoop目录下的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml拷贝至新节点的相同目录，确保配置一致。
2. 更新主节点节点列表：
   • 编辑主节点的$HADOOP_HOME/etc/hadoop/workers文件（或旧版本的slaves文件），添加新节点的主机名或IP（如node03），用于批量启动服务。
   • 若集群启用了白名单（dfs.hosts配置），需将新节点添加至dfs.hosts文件（如$HADOOP_HOME/etc/hadoop/dfs.hosts），并通过hdfs dfsadmin -refreshNodes命令刷新配置。
3. 配置新节点本地文件：在新节点上编辑$HADOOP_HOME/etc/hadoop/core-site.xml，确保fs.defaultFS指向主节点的NameNode URI（如hdfs://master:9000）；编辑hdfs-site.xml，配置dfs.datanode.data.dir（数据存储目录，如/data/hdfs/datanode）；编辑mapred-site.xml，设置mapreduce.framework.name为yarn。

三、启动新节点服务与验证

1. 启动服务：在新节点上执行以下命令，启动DataNode（HDFS存储节点）和NodeManager（YARN计算节点）：

   $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
   $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager
   

   或使用主节点的workers文件批量启动所有服务：start-dfs.sh（启动HDFS）、start-yarn.sh（启动YARN）。
2. 验证节点状态：
   • 查看HDFS节点列表：hdfs dfsadmin -report（或访问NameNode Web UI：http://<namenode_host>:9870/dfshealth.html），确认新节点的DataNode已加入。
   • 查看YARN节点列表：访问ResourceManager Web UI（http://<resourcemanager_host>:8088/cluster/nodes），确认新节点的NodeManager已注册。
3. 负载均衡（可选但推荐）：运行hdfs balancer命令（可设置-threshold 10调整平衡阈值，-bandwidth 1048576调整带宽为1MB/s），将数据均匀分布至新节点，避免数据倾斜影响任务效率。

四、后续优化与维护

1. 监控集群状态：通过YARN的ResourceManager UI、HDFS的NameNode UI监控节点资源使用率（CPU、内存、存储），及时调整配置。
2. 自动化扩容（可选）：编写脚本（如Shell脚本）实现节点添加的自动化，包括配置同步、服务启动、状态验证（示例脚本见搜索结果4）。
3. 数据安全：扩容后定期备份关键数据，避免节点故障导致数据丢失。