CentOS HDFS故障排查技巧

在CentOS上故障排查HDFS问题时，可以遵循以下步骤：

1. 检查HDFS服务状态： 使用命令 systemctl status hadoop-hdfs-namenode 和 systemctl status hadoop-hdfs-datanode 检查HDFS NameNode和DataNode服务是否已经启动。如果没有启动，使用命令 systemctl start hadoop-hdfs-namenode 和 systemctl start hadoop-hdfs-datanode 启动服务。

2. 检查日志文件： HDFS的日志文件通常位于 /var/log/hadoop-hdfs/ 目录下。检查namenode和datanode的日志文件，查找错误信息或警告。

   • namenode日志：/var/log/hadoop-hdfs/hadoop-username-namenode-hostname.log
   • datanode日志：/var/log/hadoop-hdfs/hadoop-username-datanode-hostname.log

3. 检查网络连接： 确保所有节点之间的网络连接正常。可以使用 ping 命令测试节点之间的连通性。

   ping datanode_ip
   

4. 检查HDFS配置文件： 检查HDFS的主要配置文件，如 hdfs-site.xml 和 core-site.xml，确保配置正确。特别注意以下配置项：

   • fs.defaultFS
   • dfs.namenode.rpc-address
   • dfs.datanode.data.dir
   • dfs.namenode.http-address

5. 检查机架感知配置： 如果使用了机架感知功能，确保机架感知配置正确。可以通过以下命令查看机架感知拓扑：

   hdfs dfsadmin -printTopology
   

6. 检查资源使用情况： 使用 top 或 htop 命令检查集群中各个节点的资源使用情况，如CPU、内存和磁盘空间。

   top
   htop
   

7. 检查防火墙设置： 确保防火墙允许HDFS所需的网络流量。可以使用以下命令检查和修改防火墙规则：

   iptables -L
   firewall-cmd --list-all
   firewall-cmd --add-port 50010/tcp --permanent
   firewall-cmd --reload
   

8. 使用HDFS Shell命令：

   • 列出目录内容：hdfs dfs -ls /path/to/directory
   • 检查文件状态：hdfs dfs -stat %h /path/to/file
   • 删除目录：hdfs dfs -rm -r /path/to/directory
   • 进入HDFS Shell：hdfs dfs -bash

9. 使用监控和报警工具： 利用HDFS提供的监控工具，如HDFS Canary和HDFS Corrupt Blocks，来检测集群的健康状况和损坏块。

10. 检查硬件故障： 检查存储设备、网络接口卡等硬件是否正常工作。

通过以上步骤，可以系统地排查HDFS在CentOS上的故障。如果问题仍然存在，建议查看相关日志文件和系统信息，以便进一步定位问题。