HDFS故障排查在CentOS中如何进行

CentOS 上 HDFS 故障排查实操指南

一 快速定位流程

• 检查进程与端口：用 jps 确认 NameNode/DataNode 是否在；必要时用 systemctl status hadoop-hdfs-namenode/hadoop-hdfs-datanode 查看服务状态。
• 查看服务日志：HDFS 日志通常在 /var/log/hadoop-hdfs/，关注 namenode/datanode 的 .log 与 .out 文件中的异常栈与时间点。
• 集群健康与块报告：执行 hdfs dfsadmin -report 查看 Live/Decommissioning 节点与容量；用 hdfs fsck / -files -blocks -locations 检查缺失/损坏块与健康状态。
• 系统资源与系统日志：用 df -h / du -sh 查磁盘，top/htop 查 CPU/内存；用 journalctl -xe、dmesg 捕捉内核/系统级错误。
• 网络与防火墙：用 ping/ss -lntp 验证节点连通与端口监听；按需放行 HDFS 端口 或临时停用 firewalld 做 A/B 验证。
• 配置与权限：核对 core-site.xml/hdfs-site.xml 关键项（如 fs.defaultFS、dfs.namenode.rpc-address、dfs.datanode.data.dir）；检查本地与 HDFS 目录权限。
• 客户端连通性：在客户端执行 hdfs dfs -ls / 验证访问与认证是否正常。

二 常见故障与修复要点

• NameNode 无法启动：优先查看 NameNode 日志；确认 dfs.namenode.name.dir 目录存在且属主正确；HA 场景检查 ZooKeeper/JournalNode 健康与角色状态；若 EditLog 不连续 或异常关机导致元数据不一致，按官方流程恢复或回滚后再启动。
• DataNode 未注册/频繁退服：核对 dfs.datanode.data.dir 权限与可用磁盘；当配置的磁盘数量等于 dfs.datanode.failed.volumes.tolerated 时 DataNode 会启动失败；排查 网络连通/防火墙；若 块丢失 导致退服，先恢复副本或剔除异常块后再拉起。
• 安全模式导致写入失败：集群启动或恢复阶段可能进入 安全模式；数据修复完成后用 hdfs dfsadmin -safemode leave 退出再写入。
• 容量 100% 或磁盘不均衡：清理无用数据/扩容；执行 HDFS Balancer 做数据均衡；注意 节点内磁盘使用率不均衡 与 非 HDFS 残留 也会造成“显示空间不足/不均衡”。
• 时间不同步引发丢块：确保 NTP 正常，时间漂移会导致 大量丢块 与副本异常。
• 客户端报错速查：
  • “Failed to place enough replicas”：检查 副本因子 dfs.replication、在线 DataNode 数量 与磁盘空间；
  • “No common protection layer”：客户端与服务端 加密/认证 配置不一致；
  • “SocketException/并发写 close 失败”：检查 句柄数/网络/并发 与 RPC 队列；
  • “item limit of xxx is exceeded”：目录项/配额限制触发，需扩容或清理。

三 配置与网络检查清单

• 环境变量：在 /etc/profile 或 ~/.bashrc 正确设置 JAVA_HOME、HADOOP_HOME、PATH 并 source 生效。
• 关键配置：
  • core-site.xml：fs.defaultFS；
  • hdfs-site.xml：dfs.namenode.rpc-address、dfs.namenode.http-address、dfs.datanode.data.dir、dfs.replication、dfs.blocksize；
  • 如启用 机架感知，用 hdfs dfsadmin -printTopology 校验拓扑。
• 主机名解析与 SSH：在 /etc/hosts 维护 IP-主机名 映射；确保 SSH 免密 正常用于启停脚本。
• 防火墙与端口：放行 HDFS RPC/HTTP 等端口或临时关闭 firewalld 验证；生产环境建议基于白名单精细化放行。
• 配置一致性：变更后同步到 所有节点 并统一 source，避免“同集群不同配置”。

四 常用命令速查

• 服务与进程：
  • 查看状态：systemctl status hadoop-hdfs-namenode/hadoop-hdfs-datanode
  • 启动/停止：systemctl start|stop hadoop-hdfs-namenode/hadoop-hdfs-datanode
  • 进程检查：jps
• 集群与块健康：
  • 节点与容量：hdfs dfsadmin -report
  • 拓扑：hdfs dfsadmin -printTopology
  • 健康检查：hdfs fsck / -files -blocks -locations
  • 安全模式：hdfs dfsadmin -safemode get|leave
• 系统资源与日志：
  • 磁盘/空间：df -h / du -sh
  • 资源监控：top/htop
  • 系统日志：journalctl -xe / dmesg | grep -i error
• 客户端连通性：hdfs dfs -ls /

五 数据安全与恢复建议

• 变更前先备份关键配置与元数据目录；执行 NameNode 格式化（hdfs namenode -format）会清空 HDFS 数据，仅在确认无业务影响时操作。
• 发现数据不一致/损坏时，先 hdfs fsck 评估影响范围，再按策略恢复（如从备份恢复、剔除坏块、利用 DistCp 从其他集群/节点补副本）。
• 处理 块丢失/退服 时优先恢复副本或剔除异常块，再重启 DataNode；必要时再做 Balancer 均衡分布。