Ubuntu Hadoop 集群扩容步骤

以下是Ubuntu Hadoop集群扩容步骤（基于Hadoop 2.x/3.x版本）：

一、前期准备

1. 环境检查

   • 确保新节点安装JDK（java -version）和Hadoop（hadoop version），版本需与集群一致。
   • 配置SSH免密登录（主节点到新节点）。
   • 在/etc/hosts中添加新节点IP与主机名映射，并同步到集群所有节点。

2. 同步配置文件

   • 将主节点$HADOOP_HOME/etc/hadoop/下的core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件拷贝到新节点对应目录。

二、添加新节点

1. 修改主节点配置

   • 在$HADOOP_HOME/etc/hadoop/workers（或slaves）文件中添加新节点主机名。
   • 若启用白名单，编辑hdfs-site.xml，在<property name="dfs.hosts">中添加新节点IP或主机名。

2. 启动新节点服务

   • 在新节点执行：

     # 启动DataNode  
     $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode  
     # 启动NodeManager（YARN）  
     $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager  
     

三、验证与优化

1. 检查节点状态

   • 查看HDFS节点：hdfs dfsadmin -report 或访问NameNode Web界面（http://<namenode>:9870）。
   • 查看YARN节点：http://<resourcemanager>:8088/cluster/nodes。

2. 数据均衡（可选）

   • 若新节点存储利用率低，执行均衡操作：

     hdfs balancer -threshold 10  # 参数为磁盘使用率差异阈值（%）  
     

四、注意事项

• 配置一致性：确保新节点与集群其他节点的JAVA_HOME、HADOOP_HOME等环境变量一致。
• 防火墙：确认新节点防火墙开放Hadoop相关端口（如HDFS的8020、YARN的8088等）。
• 动态扩缩容：若需下线节点，需在dfs.hosts.exclude中添加节点并刷新，避免数据丢失。

参考来源：