Debian Hadoop集群扩展怎么做

Debian Hadoop 集群扩展实操指南

一 规划与准备

• 明确扩展方式：优先采用动态扩容（新增节点）与动态缩容（安全下线），避免全集群重启。
• 版本与一致性：确保新增节点与现有集群的Debian 版本、Hadoop 版本、JDK 版本一致，网络与主机名解析正常。
• 基础环境：配置主机名与 /etc/hosts、SSH 免密登录、NTP/chrony 时间同步，并统一 JAVA_HOME 与 Hadoop 目录结构。
• 资源与目录：为新节点准备数据盘并挂载到 dfs.datanode.data.dir 指定目录，设置合适的权限与所有者。
• 安全策略：按需开放端口（如 HDFS: 50070/50470/50010/50020/50075，YARN: 8088/8042），或在内网环境使用防火墙白名单。
• 高可用与协调：若启用 HA（NameNode HA/ZooKeeper），先确认 Quorum 状态健康，再进行扩缩容。
• 变更管控：操作前备份配置与元数据，并在低峰期执行，全程监控告警。

二 动态扩容步骤

• 准入白名单（推荐）：在 NameNode 的 hdfs-site.xml 增加 dfs.hosts（或旧版 dfs.include）列出允许接入的 DataNode 主机名/IP；在 ResourceManager 的 yarn-site.xml 增加 yarn.resourcemanager.nodes.include-path（或旧版 yarn.resourcemanager.nodes.include-path）列出 NodeManager 主机名/IP。
• 新节点安装与配置：安装 Java 8/11、解压 Hadoop 到统一路径，拷贝并调整 core-site.xml/hdfs-site.xml/yarn-site.xml/mapred-site.xml 与现有集群一致；配置 SSH 免密、NTP、环境变量与 JAVA_HOME。
• 数据与磁盘：挂载新盘到 dfs.datanode.data.dir 目录，确保目录存在且 hdfs:hdfs 可写。
• 启动服务：在新节点启动 DataNode 与 NodeManager（如 systemd 服务或 $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode 与 yarn-daemon.sh start nodemanager）。
• 刷新节点列表：在 NameNode 执行 hdfs dfsadmin -refreshNodes，在 ResourceManager 执行 yarn rmadmin -refreshNodes，使新节点生效。
• 数据均衡：执行 hdfs balancer -threshold <百分比> 触发块复制与均衡，观察 HDFS Web UI 与 YARN Web UI 容量与负载变化。

三 动态缩容步骤

• 通知与迁移：在 ResourceManager 将节点标记为 Decommissioning（或设置 yarn.nodemanager.decommissioning.timeout），在 NameNode 将节点加入 退役列表（如 dfs.hosts.exclude），触发 HDFS 块复制到其他节点。
• 等待完成：通过 hdfs dfsadmin -report 与 YARN Web UI 确认 Replication 与 Decommissioning 状态完成，数据与安全副本数达标。
• 停止服务：在新节点停止 DataNode 与 NodeManager。
• 更新配置：从 dfs.hosts / yarn.resourcemanager.nodes.include-path 移除该节点；从 dfs.hosts.exclude 移除退役条目。
• 刷新与验证：执行 hdfs dfsadmin -refreshNodes 与 yarn rmadmin -refreshNodes，确认节点已不在 Live Nodes/Active Nodes 中。

四 扩缩容后的验证与优化

• 容量与节点：使用 hdfs dfsadmin -report 与 yarn node -list 核对 总容量、可用容量、Live Nodes/Decommissioned Nodes。
• 均衡与性能：观察 Balancer 进度与 DataNode 网络/磁盘 IO；必要时调整 dfs.datanode.balance.bandwidthPerSec。
• 关键参数建议：
  • HDFS：dfs.blocksize（按作业与存储权衡）、dfs.namenode.handler.count（并发请求）、dfs.datanode.max.transfer.threads（传输并发）、dfs.replication（副本数）。
  • YARN：yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores、容器与队列配额。
• 稳定性与治理：启用 数据压缩、提升数据本地化、避免数据倾斜；若规模持续增长，考虑 HA 与 ZooKeeper 完善与监控平台（如 Ambari/Cloudera Manager）。

五 常见问题与排错

• 新节点未出现：检查 白名单 include/exclude 文件是否生效，执行 -refreshNodes；确认 SSH 免密、NTP、防火墙/安全组与 JAVA_HOME 一致。
• 块复制慢或不均衡：提高 dfs.datanode.balance.bandwidthPerSec，分时段执行 Balancer，关注 Under/Over Replicated Blocks。
• 容量未增长：核对 dfs.datanode.data.dir 挂载点与权限，确认磁盘已挂载且 DataNode 正常注册。
• YARN 资源未见增加：检查 yarn-site.xml 资源参数、NodeManager 是否注册到 ResourceManager，以及队列配额与容器限制。
• 缩容卡住：确认 退役超时与 副本数策略，排查坏盘或网络问题导致复制缓慢。