Linux环境下 GitLab 监控与告警实战指南
一 监控体系与组件
- 建议采用分层监控：系统层（节点资源）、组件层（GitLab 各服务）、业务层（页面与接口性能）。
- 核心组件与用途：
- Prometheus：时序数据采集与告警规则引擎。
- Grafana：可视化仪表盘与面板告警。
- Alertmanager：分组、抑制、静默与路由告警通知。
- Node Exporter：采集主机 CPU、内存、磁盘、网络等基础指标。
- GitLab Exporter / GitLab Rails 指标端点：提供 Sidekiq、Puma、Unicorn、数据库等应用指标。
- Performance Bar（性能栏）：浏览器侧实时查看单页的数据库、Gitaly、Redis、外部 HTTP、页面加载与内存等性能细节，默认仅管理员可见，可在管理区域为指定群组放行。
二 快速落地步骤
- 步骤 1 启用 GitLab 指标与自监控
- 编辑 /etc/gitlab/gitlab.rb，开启监控相关配置（示例）：
- gitlab_rails[‘gitlab_metrics_enabled’] = true
- gitlab_runner[‘metrics_enabled’] = true
- global[‘monitoring_enabled’] = true
- 使配置生效：执行 sudo gitlab-ctl reconfigure。
- 在 GitLab 管理区域启用自监控（Admin Area → Metrics and profiling → Self monitoring），用于实例健康与用量可视化。
- 步骤 2 部署 Prometheus 与 Node Exporter
- Prometheus 抓取配置示例（/etc/prometheus/prometheus.yml）：
- scrape_configs:
- job_name: ‘gitlab’
static_configs:
- targets: [‘your_gitlab_server_fqdn_or_ip:9090’]
- job_name: ‘node’
static_configs:
- targets: [‘your_gitlab_server_fqdn_or_ip:9100’]
- 启动 Prometheus，确认 Targets 健康（up）。Node Exporter 默认端口 9100。
- 步骤 3 部署 Alertmanager 并配置通知
- 在 Prometheus 配置中引入 Alertmanager（alertmanager:9093），定义路由与接收器（如 email、Slack、企业微信/钉钉 webhook）。
- 典型告警规则文件（alerts.yml）示例：
- groups:
- name: gitlab_alerts
rules:
- alert: GitLabHighCPU
expr: 1 - avg by(instance)(rate(node_cpu_seconds_total{mode=“idle”}[5m])) > 0.8
for: 5m
labels:
severity: warning
annotations:
summary: “High CPU on {{ $labels.instance }}”
description: “CPU usage > 80% for 5m”
- alert: GitLabHighMemory
expr: (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) > 0.8
for: 5m
labels:
severity: warning
annotations:
summary: “High Memory on {{ $labels.instance }}”
description: “Memory usage > 80% for 5m”
- 在 Prometheus 加载规则并热更新，Alertmanager 开始按路由发送通知。
- 步骤 4 Grafana 可视化
- 添加 Prometheus 数据源（URL 指向 Prometheus）。
- 导入 GitLab 官方与社区仪表盘（如 Node Exporter Full、GitLab 监控面板），覆盖主机与应用关键指标。
三 关键告警规则与阈值建议
- 主机资源
- CPU 持续高占用：1 - avg by(instance)(rate(node_cpu_seconds_total{mode=“idle”}[5m])) > 0.8（持续 5m）
- 内存使用率高：(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) > 0.8（持续 5m）
- 磁盘空间紧张：1 - (node_filesystem_avail_bytes / node_filesystem_size_bytes) > 0.85（可按挂载点过滤）
- 磁盘 I/O 饱和：rate(node_disk_read_time_seconds_total[5m]) / rate(node_disk_reads_completed_total[5m]) > 0.1s（读），写同理
- GitLab 组件与业务
- Unicorn/Puma 请求排队或错误率升高（关注排队、5xx、响应时延）
- Sidekiq 重试/死信增多、处理时延异常
- Gitaly 调用失败率或时延异常（仓库操作慢的根因定位入口）
- PostgreSQL 连接数、慢查询、复制延迟（如启用数据库监控）
- Redis 命中率下降、时延升高
- 页面加载关键路径退化：Backend、FCP、DOMContentLoaded 明显上升（配合 Performance Bar 排查）
- 通知策略
- 按 severity（warning/critical）分流；对 P1 类设置 5m 以上持续时长再告警，避免抖动
- 使用 inhibit_rules 抑制由同一根因引发的重复告警；维护 silence 用于变更窗口
四 快速排查与运维命令
- 服务状态与健康
- 检查整体状态：sudo gitlab-ctl status
- 查看日志：/var/log/gitlab/（如 gitlab-rails、sidekiq、nginx、gitaly 等）
- 重新加载配置：sudo gitlab-ctl reconfigure；必要时重启：sudo gitlab-ctl restart
- 即时性能定位
- 使用 Performance Bar 查看当前页面的数据库、Gitaly、Redis、外部 HTTP、页面加载时序与内存；支持下载 JSON 报告与生成 内存报告，并可跳转 Jaeger 追踪（如已集成）。
- 系统层快速观测
- 资源与负载：top/htop、vmstat、free、iostat、dstat、ss/netstat
- 连接与端口：确认 9090（Prometheus）、9100（Node Exporter）、9093（Alertmanager）等端口与防火墙策略正确
五 常见坑与优化建议
- 目标发现与网络
- 使用 FQDN 或确保 IP/端口 可达；在 Prometheus 中校验 Targets 的 Health=UP。
- 告警噪声控制
- 合理设置 for 时长与 group_wait/group_interval，使用 inhibit/silence 降低重复与变更期告警。
- 存储与保留
- 根据容量规划 Prometheus 数据保留 与 Grafana 快照；避免磁盘被时序数据撑满。
- 安全加固
- 对 Prometheus/Alertmanager/Grafana 启用认证与网络隔离；Webhook 回调地址加入白名单。
- 版本与特性
- Performance Bar 的 Memory（14.0）、Flamegraph（14.4） 等字段在较新版本才提供，低版本 UI 可能缺失。