如何监控HDFS运行状态

监控HDFS运行状态可通过以下方式：

• 命令行工具：
  • hdfs dfsadmin -report：查看集群状态、节点信息及存储使用情况。
  • hdfs fsck /：检查文件系统健康，检测损坏或丢失的块。
• Web界面：
  • NameNode Web UI（默认端口9870）：监控集群总览、节点状态、存储分布等。
• 第三方监控工具：
  • Prometheus + Grafana：采集JMX指标，可视化监控存储容量、读写延迟、副本状态等。
  • Zabbix/Ganglia：支持分布式监控，可配置磁盘、网络、JVM等指标告警。
  • Ambari/Cloudera Manager：集成部署与监控，适合CDH/HDP集群。
• 日志分析：
  • 分析NameNode/DataNode日志（路径：/var/log/hadoop-hdfs/），定位异常或性能瓶颈。
• JMX监控：
  • 通过JMX接口（如http://<nn-host>:9870/jmx）获取节点内存、GC、RPC等指标。

关键指标：存储使用率、副本状态、节点心跳、RPC响应时间、JVM堆内存等。