Debian HDFS集群扩容步骤有哪些

Debian 环境下 HDFS 集群扩容步骤

一 扩容前准备

• 规划新增节点的主机名、IP并在所有节点维护一致的 /etc/hosts，确保主机名可解析；配置 SSH 免密登录（便于分发配置与启停进程）。
• 统一 Java 版本与 Hadoop 版本，保持集群软件一致；核对 core-site.xml、hdfs-site.xml 等关键配置在各节点一致。
• 完成 时间同步（如 chrony/ntp），避免因时钟漂移导致异常。
• 打开必要的 防火墙/安全组端口（如 8020/50070/50075 等，按实际 RPC 与 Web UI 端口为准）。
• 如启用 HDFS HA，确认 JournalNode、ZooKeeper 状态正常；准备回滚方案与变更窗口。

二 添加新 DataNode 节点

• 在 NameNode 上更新准入控制：
  • 白名单方式：在 hdfs-site.xml 配置 dfs.hosts 指向包含允许加入的主机列表文件，并分发到各节点；或
  • 黑名单方式（推荐用于平滑扩容与回滚）：在 hdfs-site.xml 配置 dfs.hosts.exclude 指向黑名单文件（先置空，后续用于退役）。
• 在新节点安装与集群同版本的 Hadoop，同步 core-site.xml、hdfs-site.xml 等配置；配置 JAVA_HOME、HADOOP_HOME、PATH 等环境变量。
• 配置 DataNode 存储目录（如 dfs.datanode.data.dir），准备并挂载新磁盘/分区，确保目录权限正确。
• 将新节点加入 workers（或等效的 include 文件），用于集群统一启停与脚本化管理。
• 启动新节点进程：
  • 推荐方式：在 NameNode 执行 start-dfs.sh，自动拉起新节点 DataNode；
  • 或在新节点手动启动：hdfs --daemon start datanode。
• 刷新节点列表并验证：
  • 若使用白/黑名单，执行 hdfs dfsadmin -refreshNodes；
  • 查看 hdfs dfsadmin -report 与 NameNode Web UI，确认新节点状态为 Live/Up。

三 数据均衡与容量验证

• 为避免新节点初期负载不均，执行 Balancer：
  • 调整带宽（示例将带宽设为 100 MB/s）：hdfs dfsadmin -setBalancerBandwidth 104857600；
  • 启动均衡（示例阈值 5%）：hdfs balancer -threshold 5；
  • 观察均衡进度与 DataNode 磁盘使用率 收敛情况。
• 使用 hdfs dfsadmin -report 核对 总容量、已用容量、可用容量 与 各 DataNode 使用情况，确认扩容生效。

四 常见问题与注意事项

• 新节点加入后长时间 Dead/Stale：检查 /etc/hosts、DNS、SSH、防火墙/安全组、端口连通性 与 存储目录权限/挂载。
• 使用 主机名 进行配置与通信，避免直接使用易变的 IP；确保 NTP 时间一致。
• 若采用 白名单，需在所有节点同步 dfs.hosts 文件；采用 黑名单 可在不改动白名单的情况下完成扩容与后续退役。
• 扩容会触发 数据块复制/迁移，对集群有一定 I/O 与网络压力，建议在业务低峰执行并持续监控 NameNode/DataNode 日志 与关键指标。
• 如启用 HDFS HA，优先在 HA 状态下操作，降低单点风险。

五 可选 同时扩容 YARN 计算资源

• 在 ResourceManager 节点更新 yarn-site.xml：配置 yarn.resourcemanager.nodes.include-path 指向允许加入的 NodeManager 列表文件，并分发配置。
• 将新节点加入 workers（或 NodeManager include 文件）。
• 启动新节点 NodeManager：
  • 推荐：start-yarn.sh；或
  • 手动：yarn --daemon start nodemanager。
• 刷新 YARN 节点列表并验证：yarn rmadmin -refreshNodes，在 ResourceManager Web UI 查看 Active Nodes。