在 Debian 上监控 GitLab 性能的可落地方案
一 监控体系与总体架构
- 建议采用“系统层 + GitLab 应用层 + 日志层 + 可视化告警层”的四层方案：
- 系统层：用 top/htop、nmon、iostat、vmstat、sar、netstat/ss 观察 CPU、内存、磁盘 I/O、网络与连接数等基础资源。
- GitLab 应用层：启用 GitLab 内置 Prometheus 指标端点 与 Self Monitoring 自监控项目，覆盖 Rails、Sidekiq、Puma/Unicorn、PostgreSQL/Redis 等关键组件。
- 日志层：集中采集与检索 /var/log/gitlab/ 下的 production.log、sidekiq/current 等日志，用于问题定位与性能瓶颈回溯。
- 可视化告警层：以 Prometheus + Alertmanager + Grafana 构建时序存储、规则评估、通知路由与可视化仪表盘。
二 快速上手步骤
- 启用 GitLab 内置监控与自监控
- 编辑 /etc/gitlab/gitlab.rb，开启指标与自监控（示例）：
- gitlab_rails[‘gitlab_metrics_enabled’] = true
- gitlab_rails[‘gitlab_metrics_port’] = 8083
- gitlab_rails[‘gitlab_self_monitoring_project_enabled’] = true
- 应用配置并重启：sudo gitlab-ctl reconfigure && sudo gitlab-ctl restart
- 访问 Admin Area → Monitoring 查看实例指标；Self Monitoring 项目提供 CPU、内存、磁盘 等仪表盘。
- 部署 Prometheus 抓取 GitLab 指标
- 安装 Prometheus（Debian 仓库或官方包），在 /etc/prometheus/prometheus.yml 添加抓取任务（示例）：
- scrape_configs:
- job_name: ‘gitlab-rails’
static_configs:
- targets: [‘your-gitlab.example.com:8083’]
- job_name: ‘gitlab-sidekiq’
static_configs:
- targets: [‘your-gitlab.example.com:8082’]
- job_name: ‘node’
static_configs:
- targets: [‘your-gitlab.example.com:9100’] # node_exporter
- 启动 Prometheus 并验证 Targets 健康。
- 部署 Grafana 并可视化
- 安装 Grafana，添加 Prometheus 数据源，导入 GitLab 官方或社区仪表盘（如 GitLab/Node Exporter 面板），用于展示 请求延迟、作业队列、错误率、资源利用率 等。
- 配置 Alertmanager 告警
- 安装并配置 Alertmanager（SMTP/企业微信/钉钉/Slack 等通知），在 Prometheus 中加载告警规则（示例）：
- groups:
- name: gitlab
rules:
- alert: HighSidekiqQueueSize
expr: sidekiq_queue_size{job=“gitlab-sidekiq”} > 100
for: 5m
labels: severity=warning
annotations:
summary: “Sidekiq 队列积压过高”
description: “当前积压 {{ $value }} 个任务”
- alert: HighPumaLatency
expr: gitlab_puma_request_duration_seconds_sum / gitlab_puma_request_duration_seconds_count > 1
for: 2m
labels: severity=page
annotations:
summary: “Puma 请求延迟偏高”
三 关键指标与日志定位
| 维度 |
关键指标/日志 |
用途 |
| Rails/应用 |
请求延迟、吞吐、错误率、SQL 慢查询 |
发现接口与数据库瓶颈 |
| Sidekiq |
queue_size、retry_size、processed/failed、job latency |
判断后台任务积压与失败 |
| Puma/Unicorn |
进程/线程数、排队请求、请求耗时 |
评估 Web 并发能力 |
| PostgreSQL |
连接数、慢查询、复制延迟、缓存命中 |
数据库性能与健康 |
| Redis |
内存使用、命中率、阻塞客户端 |
缓存与队列后端健康 |
| 系统资源 |
CPU、内存、磁盘 I/O、网络、TCP 连接 |
资源瓶颈与容量规划 |
| 日志 |
/var/log/gitlab/gitlab-rails/production.log、/var/log/gitlab/sidekiq/current |
错误堆栈、慢请求、任务执行轨迹 |
- 命令行快速巡检示例：
- 实时进程与资源：top/htop；按关键字过滤：top -p $(pgrep -f gitlab)
- 综合资源：nmon -c 10 -f /var/log/nmon/gitlab_$(date +%Y%m%d).nmon
- 磁盘 I/O：iostat -x 1
- 网络与连接：ss -s、netstat -s
四 进阶与扩展
- 更丰富的系统监控：部署 collectl、Netdata，获取更细粒度的 CPU/磁盘/网络 与进程级指标，适合临时排障与趋势观察。
- 第三方 APM/监控：接入 New Relic、Datadog、Zabbix 等，获得分布式追踪、异常检测与更完善的通知生态。
- 性能压测与容量评估：使用 GitLab Performance Tool（GPT） 进行吞吐、延迟与并发基线测试，验证扩容与优化效果。