HDFS在Ubuntu上如何进行故障排查 - 问答

HDFS在Ubuntu上的系统化故障排查指南

一快速定位流程

检查进程是否存活：运行jps，确认出现NameNode、DataNode、（HA环境）JournalNode/DFSZKFailoverController等关键进程。若缺失，优先查看对应日志定位启动失败原因。
查看服务与健康：执行hdfs dfsadmin -report获取Live/Decommissioning/Stale节点数、容量与块报告；若集群处于安全模式导致不可写，先执行hdfs dfsadmin -safemode leave再继续操作。
校验数据完整性：执行hdfs fsck /（或指定目录）查看Under-replicated、Corrupt/Missing blocks；必要时结合修复选项处理。
直连与连通性：从客户端对NameNode RPC（默认8020）与DataNode IPC（常见50010/50020）做telnet/nc连通性测试，并排查防火墙/安全组策略。
日志与系统资源：重点查看NameNode/DataNode日志（常见路径：$HADOOP_HOME/logs/ 或 /var/log/hadoop-hdfs/），同时检查磁盘空间（df -h）、内存/GC、系统负载是否异常。

二常见故障与修复对照表

症状	快速检查	修复建议
NameNode未启动/反复退出	jps无NameNode；查看namenode.log	核对core-site.xml: fs.defaultFS、hdfs-site.xml: dfs.namenode.rpc-address/dfs.namenode.name.dir；确认JAVA_HOME；首次部署需执行hdfs namenode -format（会清空元数据，谨慎！）；检查目录权限与磁盘空间
DataNode未注册/全部掉线	hdfs dfsadmin -report显示0个DataNode	核对dfs.datanode.data.dir与权限；检查NameNode RPC连通性（8020）与防火墙；排查DataNode日志中的反序列化/磁盘错误；必要时重启DataNode
集群只读或启动卡在安全模式	hdfs dfsadmin -safemode get为ON	若为启动阶段可等待块上报完成；紧急恢复可hdfs dfsadmin -safemode leave；若因Under-replicated/Missing blocks导致，先扩容或修复副本，再退出安全模式
块损坏或副本不足	hdfs fsck显示Corrupt/Missing/Under-replicated	先定位问题文件并评估业务影响；通过增加副本数、从备份恢复、或删除损坏文件后重传；对关键数据执行定期fsck巡检
权限被拒绝 Permission denied	操作报user=root, access=WRITE, inode=“/”:hadoop:supergroup	HDFS的超级用户是启动NameNode的用户（非Linux root）；用该用户执行或调整HDFS权限：hdfs dfs -chown/-chmod；避免直接用root进行HDFS写操作
端口不通/访问异常	telnet/nc到8020/50070/50010失败	开放对应端口（或临时关闭防火墙测试）；核对dfs.namenode.rpc-address、dfs.http.address等配置；云环境需放行安全组规则

三关键配置与端口核对

核心配置项
- core-site.xml：fs.defaultFS（如：hdfs://namenode:8020）。
- hdfs-site.xml：dfs.replication（副本数）、dfs.namenode.rpc-address、dfs.namenode.http-address、dfs.datanode.data.dir、dfs.namenode.name.dir、（HA）dfs.journalnode.edits.dir与dfs.namenode.shared.edits.dir。
常见端口
- NameNode RPC：8020；NameNode HTTP：50070；DataNode IPC：50010；DataNode HTTP：50075；（HA）JournalNode：8485。
环境与服务
- 确认JAVA_HOME在hadoop-env.sh中正确设置；如使用包管理安装，可用systemctl status hadoop-hdfs-namenode/datanode查看服务状态。

四实用命令清单

进程与服务：
- 进程检查：jps
- 服务状态：systemctl status hadoop-hdfs-namenode（按需替换为datanode/journalnode）
集群与块：
- 集群报告：hdfs dfsadmin -report
- 安全模式：hdfs dfsadmin -safemode get/leave
- 健康检查：hdfs fsck /（可加**-files -blocks -locations**查看块分布）
文件系统操作：
- 列目录：hdfs dfs -ls /
- 创建目录：hdfs dfs -mkdir -p /user/hadoop
- 上传/查看：hdfs dfs -put local.txt /user/hadoop/input；hdfs dfs -cat /user/hadoop/input/local.txt
权限与属主：
- 授权：hdfs dfs -chown -R hadoop:hadoop /user/hadoop
- 权限：hdfs dfs -chmod -R 755 /user/hadoop

五排障注意事项

避免误格式化：仅在首次部署或明确备份元数据后执行hdfs namenode -format；生产环境应先做好NameNode元数据与dfs目录的备份。
最小权限原则：HDFS权限与Linux一致，但超级用户是启动NameNode的用户；日常运维尽量使用该用户或通过chown/chmod授予最小必要权限。
变更可回滚：修改core-site.xml/hdfs-site.xml后先小范围验证；变更dfs.datanode.data.dir等目录后，确保目录存在且权限正确再启动。
监控与巡检：结合HDFS Canary、Corrupt Blocks、DataNode Health、Free Space等指标设置阈值告警，定期执行fsck与健康巡检。

0 赞

0 踩