Ubuntu下HDFS如何监控

Ubuntu下HDFS监控实操指南

一 快速检查与命令行监控

• 进程存活检查：使用jps确认关键进程是否存在（如：NameNode、DataNode、SecondaryNameNode）。若缺失，说明服务未启动或异常退出。
• 集群概览与健康：执行hdfs dfsadmin -report，查看Live Nodes、Dead Nodes、Configured Capacity、DFS Used、DFS Remaining等关键指标，快速判断容量与节点健康。
• 文件系统完整性：执行hdfs fsck /（必要时加**-files/-blocks/-locations**）检查缺失块、损坏文件与副本一致性。
• 存储占用与目录分布：使用hdfs dfs -du -s -h /path查看目录/路径的容量占用，定位大目录与异常增长。
• 数据均衡：运行hdfs balancer -threshold 10（阈值可按环境调整）触发DataNode间数据均衡，缓解热点与容量倾斜。
• 作业与资源视角：通过**yarn application -list/-status/-kill **从YARN侧观察作业对HDFS的读写压力与失败重试。

二 Web界面可视化监控

• NameNode UI：Hadoop 3.x 默认访问 http://:9870，2.x 为 http://:50070，可查看集群概览、节点列表、块信息与使用情况。
• ResourceManager UI：访问 http://:8088，从作业视角观察应用运行、资源分配、失败重试等，间接反映HDFS负载。
• 关键关注页签与字段：在NameNode UI的Overview/Summary查看Security、Safemode、Configured Capacity、DFS Used、DFS Remaining等；若Safemode为on或Dead Nodes > 0需立即处理。

三 第三方监控与告警体系

• Prometheus + Grafana：通过Hadoop Exporter/JMX采集HDFS指标（如容量、块数量、读写延迟、JVM/GC），在Grafana构建容量趋势、节点健康、读写性能等仪表盘并设置阈值告警。
• Zabbix：使用JMX或脚本采集关键指标（如DataNode心跳、磁盘使用率、NameNode堆内存），配置触发器实现短信/邮件告警。
• Ganglia：适合大规模HPC/集群场景，聚合网络/磁盘/CPU/IO等系统层指标，与HDFS指标联动分析瓶颈。
• Apache Ambari：提供集中管理+监控告警的一体化平台，适合多组件（HDFS/YARN/Hive等）统一运维。
• Datadog：商业平台，开箱即用地监控HDFS与Hadoop生态，支持可视化与告警。

四 日志与JMX深度排查

• 日志定位：HDFS组件日志默认位于**$HADOOP_LOG_DIR**（常见如**/var/log/hadoop**），使用tail -f $HADOOP_LOG_DIR/hadoop--namenode-.log实时跟踪启动、异常、GC、安全模式等事件。
• JMX直连：Hadoop组件开启JMX后，可用jconsole/VisualVM连接NameNode/DataNode的JMX端口，查看内存、线程、GC、RPC等运行时指标，辅助定位性能退化与内存压力。

五 关键告警与日常巡检清单

• 容量阈值：当DFS Remaining低于阈值（如10%）触发告警，结合hdfs dfs -du -s -h定位大目录，必要时扩容或清理冷数据。
• 节点健康：Live Nodes减少、Dead Nodes > 0或DataNode心跳超时需立刻核查网络、磁盘与进程状态。
• 安全模式：Safemode is on持续存在需检查启动流程、元数据一致性或手动干预退出。
• 副本与块健康：hdfs fsck /出现Corrupt/Missing blocks或Under-Replicated blocks时优先修复副本与块分布。
• 均衡状态：长期Balancer未收敛或数据倾斜（个别节点容量显著高于其他）时执行再均衡并优化块大小/副本因子。
• GC与内存：NameNode/DataNode频繁Full GC或堆内存接近上限时，结合JMX/GC日志与堆设置进行调优。