Ubuntu下HDFS集群如何扩容

Ubuntu下HDFS集群扩容实操指南

一 扩容方式与准备

• 扩容路径通常分为两类：
  1. 横向扩容：新增 DataNode 节点，快速提升容量与吞吐。
  2. 纵向扩容：在现有 DataNode 上新增磁盘，扩大单机容量。
• 操作前建议：
  • 使用 hdfs dfsadmin -report 查看集群健康、容量与节点列表，确认扩容必要性。
  • 在业务低峰期执行，提前做好关键数据备份与变更窗口沟通。
  • 规划 副本数（dfs.replication） 与机房/机架拓扑，避免后续频繁再平衡。
  • 统一 Hadoop 版本与配置（core-site.xml、hdfs-site.xml、workers 等），并校验 SSH 免密、防火墙/端口 与 主机名解析 正常。

二 横向扩容 新增DataNode

• 准备新节点
  • 安装与主集群同版本的 Hadoop，设置 JAVA_HOME/HADOOP_HOME，同步配置文件（core-site.xml、hdfs-site.xml、workers 等）。
  • 配置 /etc/hosts 或 DNS，保证与现有节点互相解析；开放 HDFS 端口（如 50070/9870 等）；确保 SSH 免密 可用。
• 动态上线（推荐，业务不中断）
  • 在 NameNode 配置白名单/黑名单（可选，用于受控上线）：
    • 在 hdfs-site.xml 增加：
      • dfs.hosts：指向包含允许上线节点主机名的文件（如 /opt/hadoop/etc/dfs.include）
      • dfs.hosts.exclude：指向排除文件（如 /opt/hadoop/etc/dfs.exclude）
    • 将新节点主机名写入 dfs.include。
  • 在 NameNode 刷新节点列表：hdfs dfsadmin -refreshNodes。
  • 在新节点启动 DataNode：
    • Hadoop 3.x：hdfs --daemon start datanode
    • Hadoop 2.x：hadoop-daemon.sh start datanode
  • 如需使用 workers 文件进行统一管理，可将其加入 workers（便于后续统一启停）。
• 验证与均衡
  • 使用 hdfs dfsadmin -report 或 NameNode Web UI 确认新节点 Live Nodes 与容量上报正常。
  • 启动均衡器，使数据分布更均匀：
    • 启动：start-balancer.sh 或 hdfs balancer
    • 查看状态：hdfs balancer -status
    • 控制带宽（避免影响业务）：hdfs balancer -threshold N -bandwidth M
    • 阈值说明：默认 10（百分比），可按需调小以触发更积极均衡。
• 常见问题排查
  • 配置不一致或 SSH 异常会导致节点无法注册；
  • 防火墙/安全组 未放行端口会导致心跳与块上报失败；
  • 主机名解析错误会导致节点名不一致从而被拒绝。

三 纵向扩容 现有DataNode新增磁盘

• 操作步骤
  • 挂载新磁盘到目录（如 /data1），确保 HDFS 运行用户 对该目录有读写权限。
  • 在 hdfs-site.xml 的 dfs.datanode.data.dir 中追加新目录（逗号分隔）：
    • 例如：/opt/hadoop/data/datanode,/data1/hadoop/datanode
  • 不需要对 NameNode 执行格式化；仅在 新磁盘目录 上准备好数据目录结构。
  • 重启 DataNode 使新目录生效：
    • Hadoop 3.x：hdfs --daemon restart datanode
    • Hadoop 2.x：hadoop-daemon.sh stop datanode && hadoop-daemon.sh start datanode
  • 启动均衡器将数据迁移到新磁盘：hdfs balancer -threshold N（必要时配合 -bandwidth 限速）。

四 扩容后的验证与优化

• 容量与节点状态：
  • hdfs dfsadmin -report 检查 Configured Capacity、DFS Used、Live Nodes 是否符合预期。
  • NameNode Web UI（如 9870 端口）核对节点列表、块分布与健康状况。
• 数据均衡：
  • 观察 hdfs balancer -status 进度，必要时调整 -threshold 与 -bandwidth，在业务低峰期完成均衡。
• 性能与稳定性调优（按需）：
  • 根据负载调整 dfs.namenode.handler.count、dfs.datanode.handler.count；
  • 结合业务与存储特性评估 dfs.blocksize 与 dfs.replication 的合理取值。