Ubuntu HDFS故障排查技巧

在Ubuntu系统中排查HDFS（Hadoop Distributed File System）故障时，可以采用以下几种方法：

检查HDFS服务状态

使用以下命令检查HDFS服务的状态：

sudo systemctl status hadoop-hdfs-namenode
sudo systemctl status hadoop-hdfs-datanode

查看日志文件

HDFS的日志文件通常位于 /var/log/hadoop-hdfs/ 目录下。通过查看NameNode和DataNode的日志文件，可以获取关于错误的详细信息，例如权限问题、磁盘故障、网络问题等。

tail -f /var/log/hadoop-hdfs/hadoop-<username>-namenode-<hostname>.log
tail -f /var/log/hadoop-hdfs/hadoop-<username>-datanode-<hostname>.log

使用HDFS命令行工具

• 列出目录内容：

  hdfs dfs -ls /path/to/directory
  

• 检查文件状态：

  hdfs dfs -stat %h /path/to/file
  

• 删除目录：

  hdfs dfs -rm -r /path/to/directory
  

• 进入HDFS Shell：

  hdfs dfs -bash
  

• 报告集群状态：

  hdfs dfsadmin -report
  

• 退出安全模式：

  hdfs dfsadmin -safemode leave
  

• 检查块报告：

  hdfs fsck /
  

检查配置文件

确保 core-site.xml、hdfs-site.xml 和 mapred-site.xml 等配置文件中的设置正确无误，特别是与权限、副本因子、数据目录等相关的配置。

监控和诊断工具

使用Ganglia、Prometheus等监控工具来监控HDFS集群的性能指标，如CPU使用率、内存使用率、磁盘I/O等。

处理常见故障

• NameNode进入安全模式：

  hdfs dfsadmin -safemode enter
  

• 退出安全模式：

  hdfs dfsadmin -safemode leave
  

• 检查节点断联：

  使用 hdfs dfsadmin -report 命令查看集群状态，检查是否有DataNode丢失或块副本数不足的情况。

• JVM内存问题：

  如果出现 java.lang.OutOfMemoryError: Java heap space 错误，可以调整JVM内存设置，例如通过以下命令：

  export HADOOP_HEAPSIZE=4000