Hadoop在Ubuntu上的故障排除

以下是Hadoop在Ubuntu上的故障排除步骤：

1. 检查基础环境

   • 确认Java已安装且环境变量配置正确：java -version，检查JAVA_HOME是否指向正确路径。
   • 检查Hadoop安装目录是否存在，配置文件（core-site.xml、hdfs-site.xml等）是否完整。

2. 查看进程与日志

   • 使用jps命令查看Hadoop进程（如NameNode、DataNode）是否正常运行。
   • 查看日志文件（$HADOOP_HOME/logs目录），通过tail -f或grep搜索错误信息。

3. 排查网络与配置

   • 用ping测试节点间网络连通性，确保主机名与IP配置正确，修改/etc/hosts文件。
   • 检查防火墙设置，开放Hadoop所需端口（如9000、50070等）。
   • 确认配置文件中参数（如fs.defaultFS、dfs.replication）正确无误。

4. 处理常见异常

   • DataNode启动失败：检查dfs.datanode.data.dir目录权限，确保与NameNode的clusterID一致，可删除临时文件重新格式化。
   • 连接拒绝：确认服务已启动，检查防火墙或尝试重启集群。
   • 权限问题：使用chown和chmod确保Hadoop目录权限正确。

5. 系统资源与工具

   • 用top、iostat等工具监控CPU、内存、磁盘使用情况，排查资源瓶颈。
   • 通过Hadoop Web界面（如NameNode的50070端口）查看集群状态。

6. 高级操作

   • 若问题持续，可尝试重启集群：先停止服务（stop-dfs.sh/stop-yarn.sh），再启动。
   • 参考官方文档或社区论坛（如Stack Overflow），根据具体错误码搜索解决方案。

注意：操作前建议备份数据，格式化HDFS（hdfs namenode -format）会清除所有数据。