怎样排查 Ubuntu Hadoop 故障

排查 Ubuntu 上的 Hadoop 故障可以按照以下步骤进行：

1. 检查日志文件：

   • Hadoop 的日志文件通常位于 $HADOOP_HOME/logs 目录下。检查这些日志文件，特别是 hadoop-<username>-namenode-<hostname>.log、hadoop-<username>-datanode-<hostname>.log、hadoop-<username>-secondarynamenode-<hostname>.log 等，以获取错误信息和异常堆栈跟踪。

2. 验证配置文件：

   • 确保所有 Hadoop 配置文件（如 core-site.xml、hdfs-site.xml、yarn-site.xml 和 mapred-site.xml）都是正确的，并且符合你的集群配置。特别注意 fs.defaultFS、dfs.replication、yarn.resourcemanager.hostname 等关键属性。

3. 检查 HDFS 状态：

   • 使用 hdfs dfsadmin -report 命令来检查 HDFS 的状态，包括 NameNode 和 DataNode 的状态。
   • 使用 hdfs fsck / 命令来检查文件系统的健康状况。

4. 检查 YARN 状态：

   • 使用 yarn node -list 命令来查看集群中所有节点的状态。
   • 使用 yarn application -list 或 yarn application -status <application_id> 来查看正在运行的应用程序的状态。

5. 网络和防火墙设置：

   • 确保集群中的所有节点之间网络连接正常，没有防火墙或安全组规则阻止节点间的通信。
   • 检查 Hadoop 配置中的端口设置，确保它们没有被其他服务占用，并且在所有节点上都是一致的。

6. 资源使用情况：

   • 使用 top、htop、df -h、free -m 等命令来检查系统的资源使用情况，包括 CPU、内存、磁盘空间等。

7. Java 环境：

   • 确保所有节点上安装了正确版本的 Java，并且 JAVA_HOME 环境变量已经设置。

8. 重启服务：

   • 如果在检查过程中发现了问题，尝试重启 Hadoop 相关的服务，如 NameNode、DataNode、ResourceManager、NodeManager 等。

9. 查看系统日志：

   • 除了 Hadoop 的日志外，还应该检查系统的日志文件，如 /var/log/syslog 或 /var/log/messages，以查找可能与 Hadoop 故障相关的信息。

10. 使用诊断工具：

    • Hadoop 提供了一些内置的诊断工具，如 hadoop checknative -a 可以用来检查本地库的支持情况。

11. 咨询社区：

    • 如果以上步骤都无法解决问题，可以考虑在 Hadoop 社区寻求帮助，或者在 Stack Overflow 等问答网站上提问。

在进行故障排查时，记得记录你的操作和发现的信息，这样可以帮助你更快地定位问题所在。