Hadoop在Ubuntu上的故障排查方法有哪些

Hadoop在Ubuntu上的故障排查方法

一 快速定位与通用检查

• 核对基础环境：执行java -version确认已安装Java 8（Hadoop 3.x 普遍更兼容 JDK 8）；检查环境变量是否正确加载：echo $JAVA_HOME、echo $HADOOP_HOME，必要时在**~/.bashrc或~/.profile中设置并source使其生效。若命令报“command not found”，将$HADOOP_HOME/bin与$HADOOP_HOME/sbin加入PATH**。
• 统一配置文件：重点核对core-site.xml（如fs.defaultFS）、hdfs-site.xml、yarn-site.xml在各节点的取值是否一致，避免端口、目录或主机名不匹配。
• 首次或状态异常时：按需执行hdfs namenode -format以重建元数据目录（注意：会清空现有元数据，生产慎用）。
• 查看进程与端口：用jps确认各节点进程是否到位；必要时用**ss -lntp | grep <端口>或netstat -tulpen | grep <端口>**检查监听。
• 防火墙与监听地址：在Ubuntu上用sudo ufw allow <端口>放行必要端口（如9000、9870、8088、19888等）；同时确认**/etc/hosts与hostname**配置正确，避免回环或解析错误。

二 日志与启动输出定位

• 启动脚本即时线索：执行start-dfs.sh或start-yarn.sh时，关注控制台输出的“starting …”与“logging to …”路径，优先检查对应日志文件（.log）与标准输出（.out）。
• 日志目录与文件：Hadoop 日志默认在**$HADOOP_HOME/logs**，常见文件包括：hadoop--namenode-.log、hadoop--datanode-.log、yarn--resourcemanager-.log、yarn--nodemanager-.log等。
• 精准检索错误：用tail -f或less打开最新日志，直接复制完整的异常堆栈到搜索引擎或社区检索，避免仅凭片段误判。
• 常见异常举例：如InconsistentFSStateException（NameNode 存储目录不一致/不可访问），通常需检查dfs.namenode.name.dir目录权限与存在性，必要时重新格式化。

三 分布式场景专项排查

• SSH 免密登录：DataNode/NodeManager 需要由主节点免密启动，确认**~/.ssh/authorized_keys包含本机公钥，必要时执行ssh-keygen -t rsa与cat id_rsa.pub >> authorized_keys并测试ssh localhost**无需口令。
• 主机名与网络解析：在**/etc/hosts为各节点配置IP <-> 主机名映射，避免127.0.0.1**误解析导致节点互连失败。
• 进程缺失定位：若从节点仅出现JPS而无DataNode/NodeManager，优先比对core-site.xml/hdfs-site.xml/yarn-site.xml差异，并查看从节点**$HADOOP_HOME/logs中的DataNode/NodeManager**日志。
• 版本与兼容性：Hadoop 3.x 建议使用JDK 8；若 Web 或 IPC 报错，检查JAVA_HOME是否指向 JDK 8，避免 JDK 11 带来的不兼容。
• 端口与访问：确认NameNode Web UI端口已由50070迁移至9870（Hadoop 3.x），以及ResourceManager的8088、JobHistory的19888等端口已放行并可访问。

四 高频症状与处理对照表

五 预防与最佳实践

• 基线化配置：将core-site.xml/hdfs-site.xml/yarn-site.xml纳入版本管理，变更前后保留可回滚版本。
• 目录与权限：为NameNode/DataNode数据与日志目录预设专属用户与权限，避免多用户混用导致权限错乱。
• 端口与防火墙：在UFW或云安全组中预先放行9000、9870、8088、19888等端口，减少因网络阻断导致的误判。
• 版本策略：Hadoop 3.x 优先搭配JDK 8；如需升级 JDK，先在测试环境验证兼容性。
• 变更流程：任何配置调整遵循“备份 → 变更 → 验证日志 → 回滚预案”，避免生产环境直接改动。