CentOS上HDFS集群扩容步骤是什么

CentOS上HDFS集群扩容步骤如下：

1. 准备工作

   • 确保集群有足够空闲资源（CPU、内存、磁盘）。
   • 在新节点上安装Java、Hadoop，配置环境变量。
   • 配置新节点主机名、IP，更新所有节点的/etc/hosts文件。
   • 启用SSH免密登录，配置NTP时间同步。

2. 添加新节点

   • 修改配置文件：在NameNode和DataNode的hdfs-site.xml中添加新节点的IP和端口，在core-site.xml中配置NameNode地址。
   • 格式化NameNode（仅在新增NameNode时执行）：hdfs namenode -format（会清除数据，需提前备份）。
   • 启动DataNode：在新节点执行hdfs --daemon start datanode，通过jps或NameNode Web界面（http://namenode:9870）验证是否加入集群。

3. 数据负载均衡

   • 执行hdfs balancer -threshold 5（默认阈值10%，可根据需求调整），使数据均匀分布在各节点。

4. 验证与监控

   • 使用hdfs dfsadmin -report查看集群状态、节点列表及数据分布。
   • 通过NameNode Web界面确认新节点状态正常，无异常告警。

注意事项：

• 扩容前建议在低峰时段操作，避免影响集群性能。
• 若需扩展磁盘空间（纵向扩容），需新增物理硬盘并修改dfs.datanode.data.dir配置，Hadoop 3+支持单节点内磁盘均衡。
• 确保新节点与集群版本一致，避免兼容性问题。