Linux环境下Hadoop性能监控实践
一 监控体系总览
- 组件与层面：从HDFS、YARN/MapReduce、JVM到操作系统与网络，分层采集指标并设置告警，形成闭环。
- 采集方式：优先使用JMX与Hadoop Metrics2导出指标，配合Prometheus拉取与Grafana可视化；同时保留Web UI与命令行做即时核查。
- 典型工具：Prometheus + Grafana、Apache Ambari、Ganglia、Zabbix、Hadoop Exporter/JMX Exporter、Jmxtrans、ELK（日志分析）。
二 快速可用的监控手段
- Web控制台
- HDFS：Hadoop 2.x 默认 50070，Hadoop 3.x 默认 9870（查看容量、块分布、DataNode健康）。
- YARN：8088（查看应用、队列、节点资源）。
- 命令行巡检
- NameNode/HA：
hdfs haadmin -getServiceState <nn1>
- DataNode：
hdfs dfsadmin -report
- ResourceManager/HA：
yarn rmadmin -getServiceState <rm1>
- 节点与作业：
yarn node -list -all、yarn application -list、mapred job -list
- 日志与系统
- 组件日志：
$HADOOP_HOME/logs/，用 tail -f、grep -i error 实时排查。
- 节点资源：
top、free、df、iostat、nmon 辅助定位瓶颈。
三 指标与告警要点
- HDFS
- 容量与健康：Capacity Used/Remaining%、Missing/Under-Replicated Blocks、Corrupt Blocks、DataNodes Live/Decommissioned。
- 性能与负载：Block Reports 延迟、NameNode RPC 队列与处理时延、FsImage/EditLog 写入延迟。
- YARN
- 资源与调度：Allocated vs Available Memory/VCores、Pending Containers、Queue Usage%、Application 运行/失败/重试数。
- 容器与任务：Container Launch/Failed、AM/Task 失败率、Map/Reduce 进度与 Shuffle 耗时。
- JVM 与主机
- Heap/Meta/GC 次数与耗时、线程数、文件描述符；主机CPU、内存、磁盘IO、网络利用率与错误。
- 建议：为上述关键指标设置阈值告警与趋势基线，结合日志聚合与可视化面板做容量与性能趋势分析。
四 落地方案 Prometheus Grafana
- 指标暴露
- 方式A（推荐）：各组件开启JMX，通过 JMX Exporter/Prometheus JMX Agent 暴露 9090 端口供 Prometheus 拉取。
- 方式B：启用 Hadoop Metrics2 的 PrometheusSink，将指标以 /metrics 形式提供（需 Hadoop 版本支持相应 Sink）。
- 配置抓取
- Prometheus 配置 job 抓取 NameNode/DataNode/ResourceManager/NodeManager/JournalNode 的 JMX/Prometheus 端点，设置合理 scrape_interval。
- 可视化与告警
- Grafana 导入 Hadoop/HDFS/YARN 官方或社区面板，构建容量、性能、失败率等主题看板。
- 使用 Alertmanager 配置节点宕机、队列拥塞、HDFS 副本不足、JVM Full GC 频繁等告警规则并对接通知渠道。
五 企业级与运维实践
- 平台化管理
- Apache Ambari：集中部署、配置、监控与告警，适合快速搭建与日常运维。
- CDH：提供监控界面与运维工具，适合采用 CDH 发行版的环境。
- 传统与综合监控
- Ganglia、Zabbix：适合大规模集群与企业级告警场景，可与 Hadoop 指标/日志联动。
- 日志与诊断
- 启用日志聚合，用 ELK 做检索、分析与可视化，与指标告警联动定位问题。
- 规模选型建议
- 小型集群：命令行 + Web UI 即可。
- 中型集群：引入 Ambari/Ganglia 做集中监控。
- 大型/关键业务：采用 Prometheus + Grafana 或 Zabbix，并配合日志分析与自定义脚本实现自动化运维。