如何在CentOS上监控Golang日志异常

在 CentOS 上监控 Golang 日志异常

一 基础准备与日志规范

• 使用结构化日志：在 Golang 中优先采用 logrus 或 zap，输出 JSON 格式，便于检索与聚合。示例：logrus 设置 JSON 与日志级别；zap 使用生产环境配置并定期 Sync。这样可在后续通过字段（如 level、msg、trace_id）快速筛选异常。
• 统一日志级别：规范使用 DEBUG/INFO/WARN/ERROR/FATAL，生产环境避免过多 DEBUG；在错误路径务必记录错误上下文（如 request_id、user_id、堆栈）。
• 输出目标：建议同时输出到 stdout/stderr 与文件，便于 systemd 收集与文件归档；容器化场景优先 stdout。
• 日志轮转：使用 logrotate 管理日志体积与保留周期，避免磁盘被撑满。示例配置路径 /etc/logrotate.d/myapp，常用策略为 daily、rotate 7、compress。

二 快速排查命令与 systemd 日志

• 实时查看文件日志：tail -f /var/log/myapp/app.log；结合 grep 过滤关键字（如 error、panic）：grep -i ‘error’ /var/log/myapp/app.log；统计行数：wc -l；按时间段筛选：awk ‘/2025-01-02 10:00:00/,/2025-01-02 10:30:00/’ /var/log/myapp/app.log。
• 若应用以 systemd 管理：journalctl -u my-golang-app.service -f 实时跟踪；配合 -e 跳到末尾、-x 显示单元详细信息、-u 指定服务名。
• 多文件实时查看：可使用 multitail、lnav 等工具对多日志并行监控与高亮。

三 集中化收集与可视化

• 方案选型：小规模可用 Fluentd/Fluent Bit → Elasticsearch → Kibana（EFK）；云原生或轻量方案可用 Promtail → Loki → Grafana（LGTM）；也可直接使用 ELK 进行日志存储与检索。
• Fluentd 示例（收集应用日志并写入 ES）：安装后配置 /etc/fluent/fluent.conf 的 source 为 tail 插件（path 指向 /var/log/myapp/*.log，pos_file 记录读取位点），match 输出到 elasticsearch（如 host localhost、port 9200），启动服务后可在 Kibana 建立索引模式与可视化面板。
• 可视化与告警：Kibana 或 Grafana 建立仪表盘，按 level、service、trace_id 等维度聚合；结合 Prometheus Alertmanager 或 Grafana 告警 对异常模式（如 5xx 激增、ERROR 短时间内超阈值）触发通知。

四 告警规则与落地示例

• 日志到指标的桥接：在 Fluentd/Fluent Bit 中使用 prometheus exporter 插件 或 Grafana Alloy 将匹配到的异常日志转为计数器（如 errors_total{service=“myapp”,level=“ERROR”}），再由 Prometheus 评估规则并推送至 Alertmanager。
• Prometheus 告警规则示例（按 1 分钟窗口统计 ERROR 增量）： groups:
  • name: golang-logs rules:
    • alert: HighErrorRate expr: rate(errors_total{level=“ERROR”}[1m]) > 0.1 for: 2m labels: severity: page annotations: summary: High error rate in {{ $labels.service }} description: Error rate is {{ $value }} errors/s in the last 1m.
• 通知渠道：在 Alertmanager 配置 email、企业微信、钉钉、Slack、PagerDuty 等；Grafana 告警同样支持多种通知方式。
• 快速落地清单：
  1. 应用改为 JSON 结构化日志（logrus/zap），输出到 stdout + /var/log/myapp/。
  2. 配置 logrotate 按日轮转、保留 7 天、压缩归档。
  3. systemd 服务正确设置 StandardOutput/StandardError，便于 journalctl 统一查看。
  4. 部署 Fluent Bit → Loki/Grafana 或 Fluentd → ES/Kibana，建立索引与仪表盘。
  5. 配置 日志→指标 转换与 Prometheus/Alertmanager 告警规则，接入团队通知渠道。