如何在Linux上优化GitLab存储使用

Linux上优化GitLab存储使用的实用方案

一 存储架构与数据外置

• 使用SSD作为主存储，避免磁盘IO成为瓶颈；为仓库、备份与日志预留充足空间。
• 将非核心数据迁移到对象存储（如Amazon S3、MinIO），适用于上传附件、备份文件等，显著降低本地磁盘占用。
• 通过修改**/etc/gitlab/gitlab.rb自定义Git数据目录（如迁移到独立数据盘），变更后执行gitlab-ctl reconfigure**使配置生效。
• 规划合理的备份保留策略并定期清理过期备份，避免备份本身占用过多空间。

二 仓库瘦身与历史清理

• 识别历史大文件：
  • 列出体积最大的对象：
    git rev-list --objects --all | grep “$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | tail -10 | awk ‘{print $1}’)”
• 清理历史大文件（示例删除单个文件/目录）：
  • 使用BFG或git filter-repo优先（更安全、更快）；如必须使用传统方式：
    git filter-branch --force --index-filter ‘git rm -rf --cached --ignore-unmatch 路径/到/大文件或目录’ --prune-empty --tag-name-filter cat – --all
• 回收空间并强制推送：
  • 清理引用与过期reflog，执行垃圾回收：
    git for-each-ref --format=‘delete %(refname)’ refs/original | git update-ref --stdin
    rm -rf .git/refs/original/
    git reflog expire --expire=now --all
    git gc --prune=now
    git gc --aggressive --prune=now
  • 推送到远端（注意会改写历史，需协调团队）：
    git push --force --all
    git push --force --tags
• 重要提示：重写历史后，所有协作者需重新克隆；若仓库启用了GitLab CI LFS，需同步清理LFS对象并遵循GitLab的LFS对象清理流程，避免存储泄漏。

三 附件与CI产物治理

• 使用Git LFS管理大文件（如二进制、数据集、产物），避免将大文件直接提交到Git对象库。
• 定期清理CI/CD产物与缓存：在项目的Settings > CI/CD > Artifacts中设置过期时间，删除无用流水线产物；对Runner缓存目录（如**/var/opt/gitlab/gitlab-runner/cache**）设置TTL与容量上限并定期清理。
• 规范分支与MR：删除已合并或不再使用的分支，减少仓库对象与CI资源的累积。

四 数据库与后台任务优化

• 使用受支持的PostgreSQL版本，并按负载调优：
  • 参考值：shared_buffers ≈ 内存的25%–40%；max_connections可按并发用户数规划（常见做法是并发用户的约2倍，需结合实际压测微调）；合理设置work_mem与maintenance_work_mem以提升复杂查询与维护任务效率。
• 控制后台任务压力：在**/etc/gitlab/gitlab.rb中适度调整sidekiq_concurrency与超时参数，避免资源争用导致膨胀与慢查询；变更后执行gitlab-ctl reconfigure**。
• 定期执行数据库维护（如VACUUM/分析）并保留合理备份窗口，减少表膨胀与索引碎片。

五 监控、日志与容量规划

• 启用并对接Prometheus + Grafana，监控磁盘使用率、对象存储用量、数据库指标、Sidekiq队列等，设置告警阈值。
• 实施日志轮转与保留策略，避免**/var/log/gitlab与Sidekiq日志**无限增长；结合系统日志设施（如logrotate）统一管控。
• 容量规划：结合仓库增长速率、CI产物保留策略、备份保留周期与对象存储生命周期策略，建立月度/季度容量评估与扩容机制。