Linux里Hadoop故障如何排查

在Linux系统中，Hadoop故障排查通常涉及以下几个步骤：

1. 查看日志文件：

   • Hadoop的日志文件通常位于$HADOOP_HOME/logs目录下。检查这些日志文件可以提供错误信息和异常堆栈跟踪，有助于定位问题。
   • 特别注意NameNode, DataNode, ResourceManager, NodeManager等关键组件的日志。

2. 检查Hadoop集群状态：

   • 使用hdfs dfsadmin -report命令检查HDFS的状态，包括DataNode的数量和状态。
   • 使用yarn node -list命令检查YARN集群的状态，包括NodeManager的数量和状态。

3. 验证配置文件：

   • 确保所有Hadoop配置文件（如core-site.xml, hdfs-site.xml, yarn-site.xml, mapred-site.xml）正确无误，并且配置项符合集群的实际情况。
   • 检查配置文件中的参数是否正确设置了集群的网络地址、端口号、权限等。

4. 检查系统资源：

   • 使用top, htop, free -m等命令检查系统的CPU、内存、磁盘空间等资源使用情况。
   • 确保Hadoop进程有足够的资源运行。

5. 网络检查：

   • 使用ping, netstat, ss等命令检查集群节点之间的网络连接。
   • 确保防火墙规则允许Hadoop所需的端口通信。

6. 检查Java环境：

   • Hadoop是基于Java运行的，确保Java环境正确安装，并且JAVA_HOME环境变量设置正确。
   • 使用java -version命令检查Java版本是否符合Hadoop的要求。

7. 查看系统日志：

   • 检查Linux系统的系统日志（如/var/log/messages, /var/log/syslog），可能会发现与Hadoop相关的错误信息。

8. 使用Hadoop命令行工具：

   • 使用Hadoop提供的命令行工具进行故障排查，例如hdfs dfsadmin -report, yarn node -list, jps等。

9. 重启服务：

   • 如果确定某个服务（如NameNode, ResourceManager）出现问题，可以尝试重启该服务。
   • 使用start-dfs.sh, start-yarn.sh等脚本来启动相应的服务。

10. 查看Hadoop Web界面：

    • Hadoop的Web界面提供了集群状态、作业运行情况等详细信息，可以通过浏览器访问这些界面来获取更多故障排查信息。

在进行故障排查时，建议按照一定的顺序进行，从最简单的检查开始，逐步深入。同时，记录下排查过程中的每一步操作和发现的信息，这有助于最终解决问题。