Hadoop在Ubuntu上如何进行故障排查

Hadoop在Ubuntu上的故障排查步骤如下：

1. 检查进程状态：用jps命令查看NameNode、DataNode、ResourceManager等关键进程是否正常运行。
2. 查看日志文件：定位到$HADOOP_HOME/logs目录，用tail -f或grep命令分析日志，重点关注错误信息。
3. 验证网络连接：用ping命令测试集群节点间连通性，确保防火墙开放Hadoop所需端口（如9000、8088等）。
4. 检查配置文件：确认core-site.xml、hdfs-site.xml、yarn-site.xml等配置正确，尤其是路径、端口等参数。
5. 检查系统资源：用top、iostat等工具监控CPU、内存、磁盘使用情况，排查资源不足问题。
6. 验证HDFS状态：用hdfs dfsadmin -report查看数据节点状态，确保节点正常注册。
7. 重启服务：尝试停止（stop-all.sh）并重新启动（start-all.sh）Hadoop服务。
8. 分析Web界面：通过NameNode（默认9870端口）和ResourceManager（默认8088端口）的Web界面查看集群状态。
9. 处理特殊场景：
   • 若为启动失败，可尝试格式化HDFS（hdfs namenode -format，注意会清除数据）。
   • 若遇权限问题，用chown修改文件/目录所有者。

参考来源：[1,2,3,4,5,6,8,9,10,11]