Debian 上部署 Jenkins 的监控与告警实践
一 监控分层与总体架构
- 建议采用分层监控：系统层、JVM 层、Jenkins 业务层、日志与链路层，形成闭环。
- 典型架构与工具如下：
| 层级 |
关键指标 |
工具与采集方式 |
典型用途 |
| 系统层 |
CPU、内存、磁盘 IO、网络 |
Node Exporter 采集主机指标（默认端口 :9100/metrics） |
发现宿主机瓶颈、容量规划 |
| JVM 层 |
Heap/Meta、GC 次数与耗时、线程数、类加载 |
JMX Exporter + Prometheus |
定位内存泄漏、GC 压力 |
| Jenkins 业务层 |
节点在线状态、Executor 使用、构建队列长度、构建成功率/耗时、失败趋势 |
Jenkins Prometheus Metrics Plugin 暴露 /prometheus |
CI 健康度、瓶颈定位、容量评估 |
| 日志与链路层 |
系统/应用日志、构建日志、错误堆栈、调用链 |
Promtail + Loki、OpenTelemetry Collector + Tempo |
故障排查、根因分析 |
- 说明：Node Exporter 负责操作系统指标，Jenkins Prometheus 插件 负责 CI/CD 业务指标，二者互补、不可相互替代。
二 快速落地 Prometheus + Grafana
- 安装与启用指标
- 在 Jenkins 插件管理中安装 Prometheus Metrics Plugin，安装后自动暴露 http://:8080/prometheus。
- Prometheus 抓取配置
- 在 prometheus.yml 增加 Job（示例）：
- job_name: ‘jenkins’
scrape_interval: 15s
metrics_path: /prometheus
static_configs:
- targets: [‘jenkins.example.com:8080’]
- 重载 Prometheus 配置后，约 1–2 分钟可在 UI 看到指标。
- 节点健康示例与告警
- 指标示例：default_jenkins_nodes_online{node=“agent1”} 1（在线为 1，离线为 0）。
- 告警规则示例：
- alert: JenkinsNodeOffline
expr: default_jenkins_nodes_online == 0
for: 2m
labels:
severity: warning
annotations:
summary: “Jenkins 节点离线”
description: “Jenkins 节点 {{ $labels.node }} 已离线超过 2 分钟”
- Grafana 可视化
- 添加 Prometheus 数据源，导入社区面板（如 ID 9964），快速获得节点、队列、构建耗时、成功率等视图。
三 主机与 JVM 监控补充
- 主机层
- 部署 Node Exporter（默认 :9100/metrics），采集 CPU、内存、磁盘、网络 等，用于判断宿主机资源是否成为瓶颈。
- JVM 层
- 通过 JMX Exporter 暴露 JVM 内存/GC/线程 等指标，配合 Prometheus/Grafana 观察 GC 暂停、Heap 使用率、线程峰值 等，定位内存泄漏或 GC 压力。
- 轻量替代方案
- 小型环境可使用 JavaMelody 插件查看 内存、CPU、HTTP 响应时间、当前请求数 等，但其本身不提供告警能力。
四 日志与链路追踪
- 日志
- 使用 Promtail + Loki 收集 系统/应用/构建日志，在 Grafana 中统一查询与告警，便于快速检索错误堆栈与构建失败原因。
- 链路追踪
- 通过 OpenTelemetry Collector + Tempo 采集分布式链路，结合 Jenkins 构建流程进行端到端耗时与错误定位，适合复杂流水线或多系统协作场景。
五 告警与日常巡检
- 告警渠道
- 在 Jenkins 内可用 Email Extension 插件发送构建结果通知；也可结合 Prometheus Alertmanager 将节点离线、队列积压、构建失败率等推送到 邮件/企业微信/Slack 等渠道，实现 7×24 告警。
- 日常巡检要点
- 关注 构建队列长度、Executor 使用率、节点在线率、构建成功率/耗时趋势，用于评估是否需要扩容构建资源或优化流水线。
- 定期清理 旧构建与工件、升级 Jenkins 与插件、减少不必要插件与并发构建数，降低资源占用并提升稳定性。