centos gitlab性能测试方法

CentOS 上 GitLab 性能测试方法

一 测试目标与指标口径

• 明确测试目标：评估在既定并发与数据规模下的吞吐（RPS/并发）、响应时延（p95/p99/平均）、错误率与资源利用率（CPU/内存/磁盘IO/网络），并验证峰值稳定性与长时间稳定性。
• 度量口径统一：报告时延时同时给出p95、p99、平均值；性能结论需基于至少连续 24 小时的测量窗口，避免偶发波动干扰。
• 工具选择原则：优先使用 GitLab 官方提供的性能监控与剖析工具（如 Performance Monitoring、Profiling、Request Profiling、Query Recorder、Distributed Tracing、Service Measurement、Chaos endpoints），必要时再辅以外部压测工具。
• 基准认知：微基准（单接口/小片段）对真实生产场景的代表性有限，仅可作为粗略预估；最终以接近生产的压测与线上监控为准。

二 环境与监控准备

• 隔离测试环境：避免与生产共享物理/网络资源；克隆一份与生产拓扑与数据量级接近的环境，或采用影子流量方式回放生产请求。
• 监控与日志：
  • 系统侧使用 top/vmstat/free/iostat/ss/dstat 观察资源变化；
  • GitLab 侧启用并接入 Prometheus + Grafana，在 Admin Area → Monitoring 查看关键指标；
  • 日志集中在 /var/log/gitlab，必要时用 ELK 做聚合分析。
• 监控覆盖要点：
  • 业务：HTTP 请求成功率、时延分布（p50/p95/p99）、排队/重试；
  • 平台：Puma/Unicorn 工作进程、Sidekiq 队列与重试、Gitaly 请求时延与错误、PostgreSQL/Redis 延迟与连接数、对象存储访问时延；
  • 基础设施：CPU 饱和、内存压力与换页、磁盘 IOPS/延迟、网络丢包与重传。

三 测试场景设计

• 基线场景：低并发下的健康检查与轻量操作（登录、项目列表、简单页面），用于校准监控与脚本。
• 核心业务场景：
  • Git 操作：git clone / fetch / push（不同仓库规模与分支深度）；
  • Web/API：项目/MR/Issue 浏览与搜索、Webhooks 触发；
  • CI/CD：流水线并发、缓存命中/未命中、制品上传/下载；
  • 高可用：节点/进程故障注入（借助 Chaos endpoints）后的恢复时间与错误率。
• 数据规模：准备从小仓库到**大仓库（多分支/大对象）**的多档数据集，覆盖 Gitaly 与数据库的热点路径。
• 负载模型：采用阶梯递增（如 10→50→100→200 并发）与稳态压测（目标并发持续 15–30 分钟），必要时加入峰值脉冲与长稳压测（≥24 小时）。
• 采样与复盘：每次场景至少保留p50/p95/p99/均值与资源曲线，并截取关键面板图，便于对比与回溯。

四 执行步骤与工具建议

• 压测工具与脚本：
  • 通用：k6（HTTP/API）、JMeter（复杂场景编排）、wrk/wrk2（长稳与恒定吞吐）；
  • Git 专项：使用 GitLab Performance Tool（GPT） 模拟真实 Git 工作负载（支持 GitLab ≥ 12.5），便于复现实战混合操作；
  • 持续压测：将压测纳入 CI，形成性能回归基线与阈值门禁。
• 执行流程：
  1. 预置数据与环境（仓库/用户/令牌/CI 流水线模板）；
  2. 运行阶梯并发并记录指标与日志；
  3. 执行稳态压测与峰值脉冲；
  4. 故障注入与恢复验证；
  5. 长稳压测（≥24 小时）观察内存泄漏、连接泄漏与性能漂移；
  6. 导出报告：时延分位数、错误率、吞吐、资源利用率峰值与均值、关键慢请求/SQL/N+1 线索。
• 剖析与定位：
  • 使用 Request Profiling / Distributed Tracing / Service Measurement 定位慢接口与下游依赖瓶颈；
  • 借助 Query Recorder 发现与回归 N+1 查询；
  • 对可疑代码路径补充微基准（如 benchmark-ips），但结论需回到场景与线上验证。

五 结果评估与优化闭环

• 验收标准示例：在既定并发下，核心接口 p95 ≤ 目标阈值、错误率 < 0.5%、资源利用率不过载（CPU 持续 < 75%、无明显换页/磁盘饱和/连接耗尽），且长稳 24 小时无性能劣化。
• 优化与回归：针对瓶颈（如 Gitaly 调用、数据库慢查询、Sidekiq 堆积、对象存储慢速）实施优化后，重复相同场景进行对比验证，并保留前后 p95/p99/均值 与面板截图，形成可审计的性能工单/合并请求闭环。