在Linux环境中，HDFS（Hadoop Distributed File System）的故障排查是一个系统性的过程，涉及多个层面的检查和诊断。以下是一些常见的故障排查方法：
查看日志文件
- NameNode日志：通常位于
/var/log/hadoop-hdfs/namenode-<hostname>.log。
- DataNode日志：通常位于
/var/log/hadoop-hdfs/datanode-<hostname>.log。
- Secondary NameNode日志：通常位于
/var/log/hadoop-hdfs/secondarynamenode-<hostname>.log。
使用HDFS Shell命令
- 列出目录内容：
hdfs dfs -ls /path/to/directory
- 检查文件状态：
hdfs dfs -stat %h /path/to/file
- 删除目录：
hdfs dfs -rm -r /path/to/directory
- 进入HDFS Shell：
hdfs dfs -bash
检查HDFS状态
- 查看NameNode状态：
hdfs dfsadmin -report
- 退出安全模式：
hdfs dfsadmin -safemode leave
- 检查DataNode状态：
hdfs dfsadmin -report
监控和报警工具
- HDFS Canary：用于检测基本的客户端操作和操作完成是否在合理的时间内。
- HDFS Corrupt Blocks：用于检测损坏块的数量是否超过某个阈值。
- HDFS DataNode Health：用于检测集群里是否有足够多的良好运行状况的DataNodes。
- HDFS Failover Controllers Health：用于检测Failover Controller的运行状况。
- HDFS Free Space：用于检测HDFS集群的可用空间是否低于某个阈值。
检查配置文件
- core-site.xml：包含HDFS的基本配置，如
fs.defaultFS。
- hdfs-site.xml：包含HDFS的高级配置，如
dfs.replication、dfs.namenode.handler.count等。
- **mapred-site.xml` 和 yarn-site.xml：包含MapReduce和YARN的配置。
网络检查
- 检查网络连接：确保客户端可以连接到HDFS的端口（默认是8020）。
- 检查防火墙设置：确保相应的端口没有被阻止。
权限检查
- 用户权限：确保用户有足够的权限执行操作。
- 目录权限：确保目录有正确的读写权限。
使用fsck命令
- 检查文件系统完整性：
hdfs fsck /path/to/directory
- 修复文件系统：
hdfs fsck -files -blocks -locations /path/to/directory
监控和报警
- 设置监控阈值：通过HDFS的监控设置，设置各种监控指标的阈值，如损坏块数量、DataNode健康状态等。
- 查看报警日志：定期检查报警日志，及时响应和处理异常情况。