Ubuntu下HDFS如何进行故障排查

Ubuntu下HDFS故障排查实操手册

一 快速定位流程

• 进程与端口：用 jps 确认 NameNode/DataNode/JournalNode 是否存活；用 netstat -nltp | grep <端口> 检查 8020/9000/50070/50075 等端口监听；必要时用 telnet <主机名> <端口> 验证连通性。
• 服务状态：执行 hdfs dfsadmin -report 查看 DataNode 数量、容量、健康；若处于 Safe Mode，先排查原因再执行 hdfs dfsadmin -safemode leave。
• 日志与配置：查看 /var/log/hadoop-hdfs/ 下 namenode-.log、datanode-.log 等；核对 core-site.xml、hdfs-site.xml 关键项（如 fs.defaultFS、dfs.replication、dfs.datanode.data.dir）。
• 连通与安全：检查 /etc/hosts 主机名解析、确保 防火墙/安全组 放行相关端口；客户端用 hdfs dfs -ls / 验证基本访问。
• 数据与健康：用 hdfs fsck / 检查文件系统完整性；关注 损坏块、容量告警 等监控指标。

二 常见故障与修复要点

• NameNode 未启动或反复格式化后 DataNode 不注册
  1. 停止集群：stop-dfs.sh；2) 清理元数据目录（如 /usr/data/hadoop/tmp/dfs/name/current）后重新格式化：hdfs namenode -format；3) 启动：start-dfs.sh。若因目录占用/权限导致格式化失败，先确保目录可写并清理残留。
• 多次格式化导致 clusterID 不一致
  现象：jps 能看到 DataNode 但 NameNode 无或异常。处理：对比 NameNode 与 DataNode 的 VERSION 文件中的 clusterID，将 DataNode 的 clusterID 调整为与 NameNode 一致（操作需谨慎，建议先备份）。
• 客户端连接被拒绝或访问异常
  排查顺序：确认 Hadoop 已启动（jps 有 NameNode）、端口监听（如 9000/8020）、防火墙/安全组 放行、以及 /etc/hosts 正确解析主机名。
• 处于 Safe Mode 无法写入
  先查原因（如 块缺失/磁盘满），再在安全可控前提下执行 hdfs dfsadmin -safemode leave 退出。
• 块丢失或副本不足
  用 hdfs fsck -files -blocks -locations / 定位缺失块与副本分布；检查 磁盘空间、DataNode 存活数、副本因子 设置。
• 容量满导致上层服务异常
  扩容或清理无用数据；必要时调整 回收站保留策略 与 配额。

三 关键命令清单

四 配置与系统层面的检查

• 配置文件：核对 core-site.xml（fs.defaultFS）、hdfs-site.xml（dfs.replication、dfs.datanode.data.dir） 等关键参数，避免 XML 格式/空格 错误；变更后同步到所有节点并重启相关进程。
• 主机名解析：在 /etc/hosts 正确映射 IP-主机名，避免回环或错误解析导致节点通信异常。
• 权限与目录：确保 Hadoop 用户 对 数据目录/日志目录 具备正确 所有者/权限；必要时用 chown/chmod 修正。
• 环境变量：在 /etc/profile 或 ~/.bashrc 正确设置 JAVA_HOME、HADOOP_HOME、PATH 并 source 生效。
• 防火墙/安全组：放行 HDFS 相关端口（如 8020/9000/50070/50075），避免连接被拒。

五 预防与日常维护

• 定期巡检：用 fsck 检查文件系统、监控告警 关注 损坏块/容量/DataNode 健康；设置 HDFS Canary、Corrupt Blocks、Free Space 等阈值告警。
• 时间与时钟：保持 NTP 同步，避免因时间跳变引发 EditLog/块 异常。
• 容量与均衡：关注 磁盘使用率，执行 Balancer 做数据/磁盘均衡，避免单盘/单节点撑满。
• 变更管控：调整 dfs.replication、dfs.blocksize 等参数后，先在测试环境验证；重要操作前做好 元数据与配置备份。