Debian Hadoop 集群节点故障如何应对

Debian Hadoop 集群节点故障应对指南

一 快速确认与定位

• 在 Debian 节点上，先确认进程是否存活：执行 jps，核对 NameNode、DataNode、ResourceManager、NodeManager 等是否在位；异常缺失多为进程崩溃或启动失败。
• 查看 Hadoop 日志：到 $HADOOP_HOME/logs/ 用 tail -f 或 grep “ERROR” 定位报错；同时用 tail -f /var/log/syslog、dmesg、journalctl -xe 检查系统级错误。
• 校验 网络连通：用 ping 测试节点间连通性，必要时用 netstat -l 或 ss -lntp 确认 HDFS/RPC 端口（如 9000）监听是否正常。
• 核对 配置：重点检查 core-site.xml、hdfs-site.xml、mapred-site.xml 中的 fs.defaultFS、dfs.datanode.data.dir、yarn.resourcemanager.hostname 等关键项。
• 借助 Web UI：访问 NameNode UI（9870） 与 ResourceManager UI（8088） 观察 Live Nodes、Dead Nodes、Applications 状态与告警。

二 常见故障场景与处置

• DataNode 无法连接 NameNode
  现象：DataNode 日志反复出现 “Problem connecting to server: : / Retrying connect …”。
  处置：

  1. 在 NameNode 用 netstat -l 确认 9000 等端口监听；
  2. 双向 ping 与端口连通性测试（必要时用 telnet/nc）；
  3. 检查 /etc/hosts、DNS、firewalld/ufw 是否阻断；
  4. 复核 core-site.xml 的 fs.defaultFS 与 hdfs-site.xml 的 dfs.namenode.rpc-address 是否一致；
  5. 修正后重启 DataNode 并观察日志是否恢复正常注册。

• 节点宕机或进程异常退出
  现象：hdfs dfsadmin -report 显示 Dead 或 Live Nodes 减少；作业在 YARN 侧失败或重试。
  处置：

  1. 先恢复节点（硬件/系统/网络），再以 hadoop 用户重启进程：如 $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode、start nodemanager；
  2. 观察 NameNode/ResourceManager UI 与 jps 确认恢复；
  3. 若节点短期内无法恢复，为降低风险可临时将节点从集群排除（见下一节）。

• 节点不健康（磁盘满、权限、不健康状态）
  现象：hdfs dfsadmin -report 显示 Decommissioning/Unhealthy；或 HDFS 健康检查 异常。
  处置：

  1. 清理 DataNode 数据目录 或扩容磁盘，确保 dfs.datanode.data.dir 所在分区可用；
  2. 检查目录权限与属主（运行用户需可读写）；
  3. 用 hdfs fsck / 检查文件系统健康，针对 Under-replicated/Missing/Corrupt 块安排修复或重建；
  4. 恢复后再次执行 hdfs dfsadmin -report 验证状态转为 HEALTHY。

三 临时隔离与替换节点

• 临时隔离不健康或即将维护的节点（避免新块分配）

  1. 在 hdfs-site.xml 为节点设置 dfs.hosts.exclude（每行一个主机名）；
  2. 在 NameNode 执行刷新：hdfs dfsadmin -refreshNodes；
  3. 观察 Decommissioning 状态，待 Under-replicated 恢复后，再在 yarn-site.xml 设置 yarn.resourcemanager.nodes.exclude-path 并执行 yarn rmadmin -refreshNodes 将节点从 YARN 退役；
  4. 维护完成后，移除排除配置并再次刷新，使节点重新加入。

• 替换永久故障节点

  1. 按集群规范在新机器安装 Debian 与 Hadoop，同步 配置 与 SSH 免密；
  2. 启动 DataNode/NM，在 UI 与 hdfs dfsadmin -report 中确认 Live Nodes 增加；
  3. 如曾执行退役，记得撤销排除列表并刷新，使新节点参与调度与存储。

四 数据一致性与恢复

• 利用 HDFS 副本机制 自动容错：默认 3 副本 可在单节点故障时保障数据可用；NameNode 通过 心跳 检测故障并触发 块重新复制 与恢复流程。
• 主动健康检查与修复：
  1. 运行 hdfs fsck / 查看 Under-replicated/Missing/Corrupt 统计；
  2. 对 Under-replicated 可等待系统自动补齐，或结合 Balancer 均衡分布；
  3. 对 Corrupt 数据，优先从备份/其他副本恢复，必要时用 DistCp 从健康集群/备份拷贝；
  4. 重要目录建议启用 快照 以便快速回滚。

五 预防与日常运维

• 建立 监控与告警：对 Dead Nodes、Missing Blocks、Apps Failed 等关键指标设置阈值告警；必要时使用 Ambari/Cloudera Manager 或自研脚本。
• 固化 标准作业与回滚预案：包括进程启停顺序、退役/加回流程、配置基线、回滚版本与数据校验步骤。
• 定期 演练与巡检：周期性重启演练、磁盘/网络压测、配置与权限审计、fsck/balancer 例行检查，降低故障概率与恢复时间。