Hadoop在Linux上如何扩展集群

Hadoop在Linux上扩展集群主要有添加新节点和调整资源配置两种方式，具体步骤如下：

一、添加新节点（水平扩展）

1. 准备新节点

• 确保新节点与集群其他节点的操作系统、Hadoop版本、Java版本一致。
• 安装Hadoop并配置基础环境变量（HADOOP_HOME、JAVA_HOME等），同步主节点的配置文件（core-site.xml、hdfs-site.xml等）。
• 在新节点的/etc/hosts中添加集群所有节点的主机名与IP映射，并配置SSH免密登录。

2. 加入HDFS集群

• 在新节点上启动DataNode服务：

  $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode  
  

• 在主节点的slaves文件中添加新节点的主机名，并刷新节点列表：

  hdfs dfsadmin -refreshNodes  
  

• 验证新节点是否加入：通过hdfs dfsadmin -report查看DataNode状态，或访问NameNode Web界面（http://namenode:9870）。

3. 加入YARN集群（可选）

• 在新节点上启动NodeManager服务：

  $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager  
  

• 验证YARN节点状态：访问ResourceManager Web界面（http://resourcemanager:8088）。

二、调整资源配置（垂直扩展）

• 修改YARN资源：编辑yarn-site.xml，调整yarn.nodemanager.resource.memory-mb（内存）和yarn.nodemanager.resource.cpu-vcores（CPU核心数），然后重启YARN服务。
• 调整MapReduce资源：在提交任务时通过参数指定资源，如-Dmapreduce.map.memory.mb=4096。

三、注意事项

• 数据均衡：添加新节点后，可使用hdfs balancer命令手动触发数据块重新分布，避免数据倾斜。
• 配置一致性：确保所有节点的配置文件同步，尤其是core-site.xml中的fs.defaultFS和hdfs-site.xml中的dfs.replication（副本数）。
• 防火墙与网络：开放集群节点间的通信端口（如HDFS的9000、YARN的8088等），避免因网络问题导致节点无法加入。

四、工具与自动化

• 可使用Ambari等工具通过Web界面管理集群扩展，简化配置流程。
• 编写自动化脚本（如auto_add_node.sh）批量添加节点，提升效率。

参考来源：