在CentOS中排查HDFS故障通常需要遵循一系列的故障排除步骤。以下是一个系统性的故障排查流程:
systemctl status hadoop-hdfs-namenode
和 systemctl status hadoop-hdfs-datanode
检查HDFS服务的状态。如果服务未启动,可以使用 systemctl start hadoop-hdfs-namenode
和 systemctl start hadoop-hdfs-datanode
启动服务。/var/log/hadoop-hdfs/namenode-<hostname>.log
。/var/log/hadoop-hdfs/datanode-<hostname>.log
。/var/log/hadoop-hdfs/secondarynamenode-<hostname>.log
。通过查看这些日志文件,可以获取关于错误的详细信息,例如权限问题、磁盘故障、网络问题等。
ping
命令测试节点之间的连通性。hdfs-site.xml
和 core-site.xml
,确保配置正确。特别注意以下配置项:
fs.defaultFS
dfs.namenode.rpc-address
dfs.datanode.data.dir
dfs.namenode.http-address
hdfs dfsadmin -printTopology
查看机架感知拓扑。top
或 htop
命令检查集群中各个节点的资源使用情况,如CPU、内存和磁盘空间。iptables -L
firewall-cmd --list-all
firewall-cmd --add-port <port>/tcp --permanent
firewall-cmd --reload
hdfs dfs -ls /path/to/directory
hdfs dfs -stat %h /path/to/file
hdfs dfs -rm -r /path/to/directory
hdfs dfs -bash
hdfs dfsadmin -safemode leave
退出安全模式。通过上述步骤,可以系统地排查HDFS在CentOS上的故障。如果问题仍然存在,建议查看相关日志文件和系统信息,以便进一步定位问题。