Jenkins在CentOS上的监控与告警如何设置

Jenkins在CentOS上的监控与告警实践

一、监控方案总览

• 建议采用分层监控：系统层用 Node Exporter + Prometheus/Grafana 观测 CPU、内存、磁盘、网络；应用层用 Jenkins Prometheus Metrics Plugin 暴露 /prometheus 指标（如 Job、构建、节点、队列、Executor 等），在 Grafana 做可视化与阈值告警。该组合覆盖节点健康、任务执行、资源使用与趋势分析，适合在 CentOS 上长期稳定运行。

二、系统层监控与告警 Prometheus + Grafana

• 安装与暴露指标
  • 在 CentOS 安装并启动 Node Exporter（默认端口 9100），确认可访问 http://:9100/metrics。
  • 在 Jenkins 安装 Prometheus Metrics Plugin，确认可访问 http://:8080/prometheus。
• Prometheus 抓取配置示例 prometheus.yml
  • 抓取系统层
    • job_name: ‘node’ static_configs:
      • targets: [‘:9100’]
  • 抓取 Jenkins 应用层
    • job_name: ‘jenkins’ scrape_interval: 15s metrics_path: ‘/prometheus’ static_configs:
      • targets: [‘:8080’]
• Grafana 可视化与告警
  • 添加 Prometheus 数据源，导入官方或社区 Jenkins 面板（如 ID 9964 等），展示 构建成功率、耗时、队列长度、Executor 使用、节点在线状态 等。
  • 在 Grafana Alerting 中创建规则，例如：
    • 节点离线：expr: up{job=“jenkins”} == 0 for: 2m；严重度 warning；注解说明节点不可达。
    • 构建失败率上升：expr: increase(jenkins_job_build_failed_total[1h]) / increase(jenkins_job_build_total[1h]) > 0.1；严重度 critical；提示检查不稳定测试或代码回退。
    • 队列积压：expr: jenkins_queue_size > 10；严重度 warning；提示扩容 Executor 或优化作业。
• 说明
  • Node Exporter 负责主机指标，Jenkins Prometheus 插件 负责 CI/CD 业务指标，二者互补，建议同时启用。

三、Jenkins 内建与插件监控

• Monitoring 插件（JavaMelody）
  • 安装 Monitoring 插件后，访问 Manage Jenkins → Monitoring of Jenkins master 查看 内存、CPU、HTTP 响应时间、当前请求数 等，适合快速洞察 Master 健康状态与性能瓶颈。
• Metrics 插件（可选，供外部采集）
  • 安装 Metrics 插件可暴露 /metrics 端点，便于 Zabbix 或自研采集器拉取 Jenkins 指标，实现统一监控平台接入。

四、构建结果通知与即时告警

• 邮件通知（Email Extension Plugin）
  • 安装 Email Extension Plugin，在 Manage Jenkins → Configure System → Extended E-mail Notification 配置 SMTP（服务器、端口、SSL/TLS、认证），发送测试邮件验证。
  • 在任务配置的 Post-build Actions 选择 Editable Email Notification，设置收件人、主题、内容模板与触发条件（如 Failure、Unstable、Success、Fixed），可使用变量如 $PROJECT_NAME、$BUILD_NUMBER、$BUILD_STATUS、$BUILD_URL 丰富内容。
• 钉钉通知（DingTalk 插件）
  • 在 Jenkins 系统配置 添加 钉钉机器人（Webhook、关键词），或在 Pipeline 中使用 dingtalk 步骤发送 Markdown 消息。
  • 示例（Jenkinsfile post 块）：
    • post { success { dingtalk( robot: ‘Jenkins_Dingding’, type: ‘MARKDOWN’, title: “成功: ${JOB_NAME}”, text: [“- 成功构建: ${JOB_NAME}\n- 版本: ${version}\n- 持续时间: ${currentBuild.durationString}\n- 详情: ${env.BUILD_URL}”] ) } failure { dingtalk( robot: ‘Jenkins_Dingding’, type: ‘MARKDOWN’, title: “失败: ${JOB_NAME}”, text: [“- 构建失败: ${JOB_NAME}\n- 版本: ${version}\n- 持续时间: ${currentBuild.durationString}\n- 详情: ${env.BUILD_URL}”] ) } }
  • 也可在任务配置里直接选择 钉钉通知时机 与 机器人，快速启用。

五、落地检查清单

• 确认 Jenkins URL 与 系统管理员邮箱 正确，避免通知发不出去。
• 在 Prometheus 的 Targets 页面确认 node 与 jenkins 均为 UP，Grafana 面板能正常出图。
• 邮件与钉钉均做一次“测试”或“模拟失败构建”，验证收件与内容模板。
• 为关键告警设置 收敛与升级策略（如重复抑制、升级联系人、值班表），避免告警风暴。