CentOS Golang日志的实时监控方案

CentOS 上 Golang 日志实时监控方案

一 快速本地查看与过滤

• 使用 tail -f 实时跟踪日志文件：tail -f /var/log/myapp.log；配合 grep 过滤关键字：grep --line-buffered “error” /var/log/myapp.log；高亮与上下文可用管道组合：tail -f app.log | grep --color=always -i “error|panic” | less -R。
• 若应用以 systemd 托管，使用 journalctl -u your-service.service -f 实时查看；如需跟随启动过程可加 –follow，按时间过滤可用 -S “2025-12-07 00:00:00”。
• 多文件与增强工具：使用 multitail 同时 tail 多个日志；使用 lnav 进行语法高亮、自动切分与 SQL 查询。
• Web 访问日志的实时可视化：对 Nginx/Access.log 可用 goaccess access.log -o /var/www/html/report.html --log-format COMBINED --real-time-html 生成实时 HTML 报告。

二 结构化日志与采集链路

• 在应用中采用结构化日志（如 zap、logrus），输出 JSON 并包含 time、level、msg、trace_id 等关键字段，便于检索与聚合。
• 日志轮转与保留：使用 logrotate 管理日志切割、压缩与保留（配置文件位于 /etc/logrotate.d/），避免单文件过大与磁盘占满。
• 采集与转发：使用 Fluent Bit 或 Fluentd 的 tail 插件读取日志文件并发送到后端（如 Loki、Elasticsearch、Kafka 等），示例（Fluent Bit，/etc/fluent-bit/fluent-bit.conf）：
  • [INPUT] Name tail，Path /var/log/myapp.log，Parser json，Tag golang
  • [OUTPUT] Name loki，Match golang，Host loki.example.com，Port 3100
• 集中式存储与检索：
  • Loki + Grafana：以低成本存储日志，使用 LogQL 查询与面板展示；
  • ELK（Elasticsearch + Logstash + Kibana）：适合复杂搜索、分析与可视化。

三 告警与可视化

• 日志告警：
  • 在 Loki 侧通过 LogQL 匹配错误模式并配合 Alertmanager 或 Grafana 告警规则 触发通知（如企业微信、钉钉、Slack、邮件）；
  • 在采集器（如 Fluent Bit）或后端（如 Elasticsearch Watcher）中配置阈值与频率，避免告警风暴。
• 可视化：
  • Grafana 对接 Loki 或 Elasticsearch，构建错误趋势、Top N 错误、服务维度面板；
  • Kibana 提供强大的全文检索、聚合与可视化能力，适合复杂分析场景。

四 面向 Golang 的指标与链路联动

• 指标监控：在应用中暴露 /metrics（Prometheus 客户端），采集 HTTP 请求数、延迟、错误率 等，并在 Grafana 展示趋势与阈值告警。
• 日志-指标-链路联动：
  • 在日志中输出统一的 trace_id，与 OpenTelemetry/Jaeger 追踪关联，实现从日志到调用链的一键跳转；
  • 对关键业务日志（如支付失败、降级触发）建立 SLO/错误预算 与告警策略，缩短 MTTR。

五 落地配置示例

• systemd 服务与日志采集
  • 服务示例（/etc/systemd/system/myapp.service）：
    • [Service] ExecStart=/usr/local/bin/myapp
    • StandardOutput=journal；StandardError=journal；SyslogIdentifier=myapp
  • 实时查看：journalctl -u myapp.service -f
  • Fluent Bit 采集 journal（可选）：[INPUT] Name systemd，Tag golang；[OUTPUT] Name loki，Match golang，Host loki.example.com，Port 3100
• Nginx 实时可视化
  • goaccess /var/log/nginx/access.log -o /var/www/html/report.html --log-format COMBINED --real-time-html
• 最小结构化日志示例（zap）
  • logger, _ := zap.NewProduction(); defer logger.Sync()
  • logger.Info(“user login”, zap.String(“uid”, “u1001”), zap.String(“ip”, “192.168.1.10”))
• Loki 告警规则示例（Grafana）
  • 规则：sum by (level)(rate({job=“myapp”} |= “error” [1m])) > 0
  • 通知：对接 Alertmanager 或 Grafana 通知渠道