Hadoop在Linux如何故障排查

Hadoop在Linux故障排查可按以下步骤进行：

1. 查看日志文件：定位$HADOOP_HOME/logs目录，用tail -f或grep查看实时日志，搜索ERROR关键字定位异常。
2. 检查进程状态：通过jps命令确认NameNode、DataNode、ResourceManager等核心进程是否正常运行。
3. 验证网络连接：用ping测试节点间连通性，检查防火墙是否开放Hadoop所需端口（如50070、8088等）。
4. 核查配置文件：检查core-site.xml、hdfs-site.xml等配置参数是否正确，如fs.defaultFS、dfs.namenode.name.dir等。
5. 分析系统资源：使用top、iostat、vmstat等工具监控CPU、内存、磁盘I/O，排查资源不足问题。
6. 重启服务：尝试停止（stop-all.sh）并重新启动Hadoop服务，确保配置生效。
7. 访问Web界面：通过HDFS（http://namenode:50070）和YARN（http://resourcemanager:8088）Web界面查看集群状态和任务详情。
8. 处理特定场景问题：
   • 权限问题：用hdfs dfs -chmod调整目录权限。
   • 资源不足：调整yarn-site.xml中内存参数或优化作业资源分配。
   • 版本兼容性：若问题持续，考虑升级或回滚Hadoop版本。

参考来源：