CentOS系统中GitLab的日志管理方法

CentOS 上 GitLab 日志管理方法

一 日志查看与定位

• 使用 Omnibus 提供的命令行工具实时查看：
  • 查看全部日志：sudo gitlab-ctl tail
  • 查看某服务日志：sudo gitlab-ctl tail gitlab-rails
  • 查看具体文件：sudo gitlab-ctl tail nginx/gitlab_access.log
• 直接读取日志文件（路径为 /var/log/gitlab/）：
  • Rails 应用日志：/var/log/gitlab/gitlab-rails/production.log
  • JSON 异常日志：/var/log/gitlab/gitlab-rails/production_json.log
  • Nginx 访问/错误：/var/log/gitlab/nginx/access.log、/var/log/gitlab/nginx/error.log
  • Sidekiq：/var/log/gitlab/sidekiq/current
  • Unicorn：/var/log/gitlab/unicorn/*.log
• 使用 systemd 日志（若组件以 systemd 单元运行）：例如 journalctl -u gitlab-rails
• 版本与组件差异说明：不同 GitLab 版本及进程模型（如 Puma/Unicorn、Sidekiq）下，日志路径与名称可能略有差异，必要时以 /var/log/gitlab 下实际文件为准。

二 日志轮转与保留策略

• Runit 服务日志（由 svlogd 管理）：在 /etc/gitlab/gitlab.rb 中调整
  • 关键参数与默认值：
    • logging[‘svlogd_size’] = 200 * 1024 * 1024（单文件超过约 200MB 切割）
    • logging[‘svlogd_num’] = 30（保留 30 个文件）
    • logging[‘svlogd_timeout’] = 24 * 60 * 60（按天切割）
    • logging[‘svlogd_filter’] = “gzip”（切割后压缩）
  • 可按服务单独设置前缀，例如：nginx[‘svlogd_prefix’] = “nginx”
• 文件轮转（内置 logrotate）：在 /etc/gitlab/gitlab.rb 中调整
  • 常用参数与默认值：
    • logging[‘logrotate_frequency’] = “daily”（按天轮转）
    • logging[‘logrotate_size’] = nil（不按大小触发）
    • logging[‘logrotate_rotate’] = 30（保留 30 天）
    • logging[‘logrotate_compress’] = “compress”（压缩归档）
    • logging[‘logrotate_method’] = “copytruncate”（避免重启进程截断）
    • logging[‘logrotate_dateformat’] = nil（归档文件名日期格式）
  • 服务级覆盖示例：nginx[‘logrotate_size’] = “200M”
  • 可全局禁用：logrotate[‘enable’] = false
• 使配置生效：每次修改后执行 sudo gitlab-ctl reconfigure。

三 集中与远程日志

• 远程 Syslog 发送（企业版功能）：在 /etc/gitlab/gitlab.rb 中配置
  • logging[‘udp_log_shipping_host’] = ‘1.2.3.4’
  • logging[‘udp_log_shipping_port’] = 1514（默认 514）
  • 适用于将日志统一发送到集中式日志平台（如 Syslog-ng、Rsyslog、Graylog/ELK 前置采集）。

四 分析与监控实践

• 构建与作业日志：
  • 在 GitLab Web 界面进入 CI/CD → Jobs 查看任务日志与输出。
  • 通过 API 获取作业日志：
    • 命令示例：curl --header “PRIVATE-TOKEN: <your_token>” “https://gitlab.example.com/api/v4/projects/<project_id>/jobs/<job_id>/trace”
• 指标与可视化：
  • 启用 GitLab 内置监控，结合 Prometheus + Grafana 做指标可视化与告警。
• 日志分析与检索：
  • 使用 ELK（Elasticsearch + Logstash + Kibana） 或 Graylog 对 /var/log/gitlab 进行集中采集、分析与检索。
• 安全与合规：
  • 日志可能包含敏感信息（如令牌、密钥、个人信息），在采集、传输与存储环节注意脱敏与访问控制；定期审计关键操作日志并设置告警规则。