core-site.xml
、hdfs-site.xml
配置文件一致(如fs.defaultFS
、dfs.replication
等核心参数),避免节点间通信异常。在新节点上完成Hadoop安装,并将现有集群的Hadoop配置文件(core-site.xml
、hdfs-site.xml
)复制到/etc/hadoop/conf/
目录下,确保配置与集群一致。
在新节点上执行start-dfs.sh
命令,启动Hadoop服务(包括DataNode)。若集群启用了YARN,可同时启动YARN服务(start-yarn.sh
)。
在NameNode上执行hdfs dfsadmin -report
命令,查看集群状态。若新节点的IP地址、存储目录等信息出现在“Live DataNodes”列表中,说明节点已成功加入集群。
根据集群负载情况,调整以下核心配置项(修改hdfs-site.xml
后需重启集群生效):
dfs.replication
(默认3,可根据存储成本和可靠性需求调整);dfs.namenode.handler.count
(默认10,建议设置为100以上,提升NameNode并发处理能力);dfs.datanode.handler.count
(默认10,建议设置为100以上,提升DataNode数据传输能力);dfs.blocksize
(默认128M,大文件场景可调整为256M或更大,减少元数据压力)。新增节点后,集群数据分布可能不均匀。需执行数据平衡操作,将数据从满载节点迁移到新节点,确保各节点存储利用率均衡:
stop-dfs.sh
);start-balancer.sh
),默认平衡阈值为10%(即节点存储利用率差异超过10%时开始迁移);hdfs balancer -status
),直至所有节点的存储利用率差异小于阈值。hdfs dfsadmin -report
,确认新节点的磁盘空间使用率、数据块数量等指标正常;hadoop fs -put /local/file /test
),检查文件是否能正常复制到新节点(可通过hadoop fs -ls /test
查看文件块分布);dfs.hosts.exclude
),需重启集群生效;若从黑名单移除,执行hdfs dfsadmin -refreshNodes
即可。