Linux环境下Hadoop的性能监控

Linux环境下Hadoop性能监控

一 监控体系与分层

• 建议采用分层监控：系统层（Linux）→ 组件层（HDFS/YARN/MapReduce）→ 可视化与告警层（Grafana/Prometheus/告警规则）。
• 系统层关注：CPU负载、内存、磁盘空间与I/O、网络吞吐与丢包；组件层关注：HDFS容量与块报告、NameNode/DataNode健康、YARN资源与容器、作业运行与失败重试；可视化层关注：趋势、对比、阈值告警与面板模板复用。

二 快速可用的监控手段

• 原生Web UI
  • NameNode UI：50070（HDFS健康、容量、块报告、节点列表）
  • ResourceManager UI：8088（队列、应用、容器与资源使用）
• 命令行巡检
  • hdfs dfsadmin -report（HDFS容量、DataNode存活、块与容量使用）
  • yarn node -list -all（节点资源与状态）
  • yarn application -list -appStates ALL（应用与状态）
  • mapred job -list（历史/运行作业）
• JMX远程监控
  • 在Hadoop组件启用JMX，通过JMX Exporter或Jmxtrans暴露指标，便于被Prometheus抓取与告警。

三 常用工具与适用场景

四 关键指标与告警阈值示例

• 系统层
  • CPU负载：1/5/15分钟均值持续高于CPU核数需关注；I/O等待（wa）长期偏高提示磁盘瓶颈。
  • 内存：可用内存过低或频繁swap；可用磁盘空间低于阈值（如10%）或Inode紧张。
  • 磁盘I/O：await、svctm偏高；读写吞吐与IOPS异常波动。
  • 网络：带宽打满、丢包/重传上升。
• HDFS
  • Missing Blocks、Corrupt Blocks为0；Under-Replicated Blocks尽快恢复；容量使用率超过阈值（如80%）触发扩容或清理。
• YARN
  • Available Memory/VCores不足导致排队；Pending Containers持续升高；NodeManager心跳丢失；队列使用率与Fair/容量调度策略匹配。
• MapReduce/作业
  • Map/Reduce失败数、重试次数异常；长尾任务（任务时长显著高于P95）；数据倾斜（个别Reduce输入远大于均值）。
• JMX（JVM/GC）
  • Heap Memory Usage接近上限；GC次数/时间频繁或单次过长，提示内存压力或对象生命周期问题。
• 日志
  • ERROR/WARN突增；异常堆栈与失败重试链路；NameNode/DataNode/YARN异常重启。 以上指标与阈值示例可作为起步策略，需结合业务SLA与历史基线动态调整。

五 落地步骤与排障流程

• 步骤
  1. 明确SLA与容量基线：吞吐、作业时延、存储增长、可用性目标。
  2. 部署采集链路：启用组件JMX；部署Hadoop Exporter/Jmxtrans；Prometheus抓取；Grafana建面板与阈值告警。
  3. 补齐系统层监控：节点部署nmon/Node Exporter；统一到同一时序库与告警通道。
  4. 日志集中：Hadoop日志目录（如**$HADOOP_HOME/logs**）接入ELK，建立错误聚类与慢任务检索。
  5. 巡检与演练：固化日/周巡检清单；定期做基准测试（如TestDFSIO）验证I/O与网络健康。
• 排障流程
  • 现象：作业变慢或失败增多
  • 路径：Grafana看YARN队列与容器→ Prometheus/JMX查NodeManager/容器资源与GC→ NameNode UI看块与容量→ 对应节点nmon/df/iostat定位瓶颈→ ELK检索ERROR/异常堆栈→ 调整资源配置或数据布局并回归测试。