CentOS HDFS集群扩容步骤有哪些
小樊
37
2025-12-02 01:29:42
CentOS 环境下 HDFS 集群扩容步骤
一 扩容类型与前置检查
- 明确扩容类型：常见为新增 DataNode 节点（最常见）、为现有节点新增磁盘/目录（见文末补充）、或新增 NameNode（HA）（涉及 JournalNode/ZooKeeper，复杂度高）。
- 基础环境就绪：
- 所有节点时间同步（NTP），避免因时间漂移导致异常。
- 打通 SSH 免密（NameNode/ResourceManager 到新 DataNode），便于批量启停。
- 关闭或放行必要端口（如 8020/50070/50075 等，按实际配置），保证节点互通。
- 新节点安装与集群版本一致的 Java/Hadoop，目录结构与用户保持一致。
- 如启用 HA，确保 ZooKeeper 与 JournalNode 健康；如启用 黑白名单，准备节点清单文件。
- 建议在低峰时段执行，并提前做好配置与数据备份。
二 新增 DataNode 的标准流程
- 配置新节点
- 设置主机名与 /etc/hosts，保证与集群解析一致。
- 安装 Hadoop，拷贝现有集群的 core-site.xml/hdfs-site.xml 等配置，保持版本与路径一致。
- 按需调整关键参数：
- dfs.replication（副本数，默认 3，扩容不会自动提升已有文件副本数，需要再平衡）。
- dfs.namenode.datanode.registration.ip-hostname-check（网络环境不一致时可设为 false，便于注册）。
- 传输并发：dfs.datanode.max.transfer.threads（提升节点加入初期的数据传输速率）。
- 启动与注册
- 方式一：在新节点执行 start-dfs.sh（或仅启动 DataNode）。
- 方式二：在 NameNode 上执行 start-dfs.sh，脚本会自动将新节点纳入。
- 节点纳入管理（如启用白名单）
- 将新节点加入 dfs.hosts 白名单；确保不在 dfs.hosts.exclude 黑名单。
- 在任一节点执行 hdfs dfsadmin -refreshNodes 使配置生效（首次启用白名单可能需重启相关服务）。
- 验证节点状态
- 执行 hdfs dfsadmin -report 或访问 NameNode Web UI（50070），确认新节点状态为 Live/Up，存储与负载信息正常。
三 数据再平衡与容量生效
- 触发再平衡：
- 简单执行：hdfs balancer（使用默认阈值）。
- 指定阈值：如 hdfs balancer -threshold 10（当节点间使用率差异超过 10% 时触发迁移）。
- 观察与调优：
- 再平衡期间会占用带宽与 I/O，建议在业务低峰执行，并可通过 带宽/并发参数 控制对线上业务的影响。
- 平衡完成后，使用 hdfs dfsadmin -report 检查各节点容量与利用率是否趋于均衡。
四 验证与常见问题处理
- 快速验证清单：
- 节点注册：hdfs dfsadmin -report 能看到新 DataNode 且状态 Up。
- 容量变化：总 Configured Capacity 增加，各节点 Used/Remaining 趋于均衡。
- 服务日志：NameNode 与 DataNode 日志无异常（如注册拒绝、磁盘错误）。
- 业务验证：抽样读写/列表操作，确认访问路径与权限正常。
- 常见问题与要点：
- 新节点无法注册：检查 /etc/hosts、网络连通、RPC 端口、以及 dfs.namenode.datanode.registration.ip-hostname-check 设置。
- 白名单不生效：确认 dfs.hosts 已包含新节点并执行 hdfs dfsadmin -refreshNodes；首次启用白名单可能需重启相关服务。
- 再平衡过慢或不触发：调整 -threshold，并检查网络/磁盘/并发参数；必要时分批次执行。
- 切勿在新节点上误执行 hdfs namenode -format（会清空该节点元数据/数据），仅在初始化 NameNode 时使用。
五 补充 为现有节点新增磁盘或目录
- 在新磁盘上创建数据目录（如 /data1/hadoop/hdfs/dn），设置 HDFS 用户权限。
- 在 hdfs-site.xml 的 dfs.datanode.data.dir 中追加新目录（逗号分隔）。
- 无需重启 NameNode，直接重启 DataNode 进程让其识别新目录。
- 执行 hdfs balancer 使数据在新旧磁盘间均衡分布。