Ubuntu Jenkins如何监控

Ubuntu 上监控 Jenkins 的完整方案

一 监控目标与分层

• 业务与作业：关注构建成功率、构建耗时、队列长度、Executor 使用率、节点在线/离线等，用于评估 CI 健康度与定位瓶颈。
• 主机资源：关注CPU、内存、磁盘 I/O、网络，判断是否存在资源瓶颈或异常增长。
• 日志与告警：集中收集系统日志与构建日志，对关键事件（如节点离线、构建失败趋势）进行主动告警。

二 快速落地步骤

• 安装内置监控插件：在 Manage Jenkins → Manage Plugins 安装 Monitoring 插件（基于 JavaMelody），访问 Manage Jenkins → Monitoring of Jenkins master 查看内存、CPU、HTTP 响应时间、当前请求数等仪表盘。
• 暴露并采集指标：安装 Prometheus Metrics Plugin，Jenkins 会自动暴露 /prometheus 端点（如 http://<jenkins_host>:8080/prometheus），供 Prometheus 拉取 Job/构建/节点/队列 等指标。
• 配置 Prometheus：在 prometheus.yml 增加抓取任务，示例：
  • job_name: ‘jenkins’ metrics_path: ‘/prometheus’ static_configs:
    • targets: [‘<jenkins_ip>:<jenkins_port>’]
• 配置 Grafana：添加 Prometheus 数据源，导入 Jenkins 概览或自建面板，用于可视化节点健康、任务执行、资源使用等。
• 主机资源采集：在 Ubuntu 安装 Node Exporter（默认 :9100/metrics），由 Prometheus 抓取CPU/内存/磁盘/网络等系统指标，与 Jenkins 业务指标互补。

三 关键告警规则示例

• 节点离线：当节点离线超过 2 分钟触发告警
  • alert: JenkinsNodeOffline expr: default_jenkins_nodes_online == 0 for: 2m labels: severity: warning annotations: summary: “Jenkins 节点离线” description: “Jenkins 节点 {{ $labels.node }} 已离线超过 2 分钟”
• 构建失败率上升：近 5 分钟失败率超过 10%
  • alert: JenkinsJobFailureRateHigh expr: | sum(rate(jenkins_job_build_status{result=“FAILURE”}[5m])) / sum(rate(jenkins_job_build_status{result=~“SUCCESS|FAILURE”}[5m]))

    0.1 for: 5m labels: severity: critical annotations: summary: “Jenkins 构建失败率升高” description: “近 5 分钟失败率 {{ $value | humanizePercentage }}”

• 队列积压：队列长度长时间大于 10
  • alert: JenkinsQueueBacklog expr: jenkins_queue_size > 10 for: 10m labels: severity: warning annotations: summary: “Jenkins 队列积压” description: “当前队列长度 {{ $value }}”

四 日志与系统层面检查

• 服务状态与日志：使用 systemctl status jenkins 查看服务状态；使用 journalctl -u jenkins 查看系统日志；Web 端 Manage Jenkins → System Log / Manage Logs 查看应用日志；关键日志文件路径为 /var/log/jenkins/jenkins.log（可用 tail -f 实时查看）。
• 命令行与 API：使用 jenkins-cli.jar 执行如 console 查看构建输出；通过 REST API 获取构建信息，例如：
  • curl -u <用户名>: http://<jenkins_url>/job/<job_name>/lastBuild/api/json
• 主机资源观测：在 Ubuntu 上使用 top/htop 观察 CPU/内存；使用 iostat 检查磁盘 I/O；使用 iftop/nethogs 观察网络流量，配合 Node Exporter 做长期趋势与阈值告警。