整体思路与分层
- 建议采用分层监控：系统层（CentOS 资源）、JVM 与应用层（Jenkins 进程与插件）、业务层（构建队列、耗时、失败率）。
- 采集侧可用Prometheus + Grafana或InfluxDB + Grafana两套方案；可视化统一在 Grafana，告警在 Prometheus 或外部告警系统。
- 若涉及性能测试，可用JMeter产生负载，将指标写入时序库，在 Grafana 统一展示趋势与阈值告警。
方案一 Prometheus Grafana 监控
- Jenkins 侧
- 安装插件：Prometheus metrics plugin（为 Jenkins 暴露 /prometheus 指标端点）。
- 安全：为 Prometheus 创建只读账号或 API Token，并在“Manage Jenkins → Configure Global Security”中限制其权限。
- Prometheus 侧
- 在 prometheus.yml 增加抓取任务（示例）：
- job_name: ‘jenkins’
metrics_path: ‘/prometheus’
static_configs:
- targets: [‘<jenkins_host>:8080’]
- Grafana 侧
- 添加数据源：Prometheus（URL 指向 Prometheus 地址）。
- 导入面板：使用社区面板 ID 9964（Jenkins 概览），或按需自建图表（如构建队列长度、构建时长 P95/P99、节点在线数、HTTP 请求耗时等）。
方案二 InfluxDB Grafana 监控
- InfluxDB 侧
- 安装并启动 InfluxDB；创建数据库（如 jenkins），开放写入端口（默认 8086；若使用 Graphite/行协议写入，常用 2003）。
- Jenkins 侧
- 安装插件：InfluxDB Plugin；在“Manage Jenkins → Configure System”中配置 InfluxDB 的 URL、数据库、凭证，并选择要上报的构建与作业指标。
- Grafana 侧
- 添加数据源：InfluxDB（URL、数据库名、认证）。
- 创建或导入面板：展示构建成功率、构建时长、队列与执行器利用率、节点健康等。
系统与应用指标采集
- 系统层（CentOS）
- 资源监控：使用 top/htop/atop 观察 CPU、内存、磁盘 I/O、网络；使用 iostat 细化磁盘，iftop/nethogs 细化网络。
- 持续采集：部署 sysstat（含 sar），长期记录 CPU、内存、I/O、网络等历史数据，便于容量与瓶颈分析。
- 日志与诊断
- 查看 /var/log/jenkins/jenkins.log 与构建日志，定位异常堆栈、长时步骤、频繁失败等。
- JVM 与应用层
- 使用 Java VisualVM/JConsole 连接 Jenkins JVM，观察堆内存、线程、类加载、GC 行为，辅助定位内存泄漏与线程阻塞。
告警与瓶颈定位优化
- 告警建议
- Prometheus 规则示例（告警规则需按实际环境阈值调整）：
- 构建队列过长：sum(jenkins_queue_length) by (instance) > 10
- 节点离线：jenkins_node_online == 0
- 构建失败率升高：increase(jenkins_build_failed_total[1h]) / increase(jenkins_build_total[1h]) > 0.1
- 常见瓶颈与优化
- 资源与配置：扩充内存/CPU/SSD；合理设置 JVM 堆（如 -Xmx4G）、并发构建数、执行器数量；定期清理旧构建与制品，减少磁盘与数据库压力。
- 架构与扩展：启用分布式构建（多 Agent 分摊负载），关闭无用插件与定时任务，减少启动与运行期开销。
- 系统与网络：按需优化 内核网络参数（如 net.core.rmem_max/wmem_max、net.core.somaxconn、net.ipv4.tcp_tw_reuse），提升高并发下的稳定性与吞吐。