HDFS在CentOS上的故障恢复流程

HDFS在CentOS上的故障恢复流程

一 快速定位与最小恢复

• 检查服务与日志：确认 NameNode/DataNode 进程状态，查看 /var/log/hadoop-hdfs/ 下的 namenode-.log、datanode-.log 等，使用 tail -F 实时跟踪异常。
• 集群健康与块状态：执行 hdfs dfsadmin -report 查看 Live/Decommissioning/Failed 节点与容量；用 hdfs fsck / -files -blocks -locations 检查健康度，用 hdfs fsck / -list-corruptfileblocks 列出损坏块。
• 安全模式：若处于只读，先评估原因（如副本不足），必要时再执行 hdfs dfsadmin -safemode leave 退出。
• 网络与防火墙：校验节点互通，检查 /etc/hosts、iptables/firewalld 是否放行 HDFS RPC/HTTP 端口，必要时临时放行并重试。
• 数据恢复优先级：有备份先恢复；无备份则先保命（退出安全模式、剔除异常磁盘/节点、恢复副本数），再做一致性修复与数据回填。
  以上步骤可在不中断业务的前提下快速判断故障面并进入恢复路径。

二 常见故障场景与恢复动作

三 数据一致性与副本修复

• 修复健康度：运行 hdfs fsck / -files -blocks -locations 评估缺失/损坏块；对可恢复文件优先从备份或近线副本恢复。
• 清理损坏块：对确认无法恢复的块，使用 hdfs fsck -delete 删除；删除后通过 hdfs dfsadmin -metasave corrupt 观察元数据清理效果。
• 恢复副本数：对 Under-replicated 文件，先恢复 DataNode 与磁盘，再观察自动复制；必要时临时提高副本数并回写，随后恢复目标副本数。
• 数据回填：跨集群/跨目录可用 DistCp 回填；若新旧集群 dfs.blocksize 不一致导致校验失败，使用 -pb 保留源块大小。
• 负载均衡：在业务低峰执行 hdfs balancer -threshold 10，必要时先 hdfs dfsadmin -setBalancerBandwidth 限制带宽，避免影响业务。
  以上步骤可系统性修复一致性问题并回到健康冗余状态。

四 配置与元数据恢复

• 配置回滚：先备份当前 /etc/hadoop/ 下的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 等关键配置，再从备份恢复；如使用 Ambari/Cloudera Manager，优先通过管理平台回滚。
• 元数据恢复：优先从 SecondaryNameNode 或离线备份恢复 fsimage+edits 到 dfs.namenode.name.dir；恢复后启动 NameNode 校验 fsck 健康。
• 极端情况：若元数据完全丢失且无备份，仅能 hdfs namenode -format 重建命名空间，随后从业务备份/外部系统全量回填数据。
• 变更验证：重启 NameNode/DataNode 后，用 hdfs dfsadmin -report 与 fsck / 校验节点与块健康，再逐步恢复业务写入。
  该流程确保在配置漂移或元数据损坏时，能快速回到可用状态并最小化数据损失。

五 预防性检查与运维建议

• 容量阈值：将 HDFS 使用率控制在**75%以下，超过需清理或扩容；DataNode 磁盘普遍超过70%**即应扩容或降副本。
• 小文件治理：合并小文件（如 HAR），降低 NameNode 内存与块扫描压力；升级至 2.10+ / 3.x 可缓解块扫描导致的 DataNode 心跳超时。
• 定期巡检：例行执行 fsck、balancer、清理 .Trash、监控 Live/Failed 节点与 Under-replicated 块数。
• 变更管控：任何配置/拓扑变更前先备份；变更后在低峰窗口验证 report/fsck 与健康页。
  这些做法可显著降低故障概率并缩短恢复时间。