Debian上Golang日志与其他日志系统的协同实践
一 与 systemd journal 集成
- 将日志输出到stdout/stderr，由journald统一采集；这是 Debian 上最简便、与系统一体化的方式。
- 快速做法：在程序中使用log 包或结构化库（如zap、logrus）输出到标准输出；以服务方式运行时，使用命令查看：
- 查看服务日志：journalctl -u your-service-name
- 查看本次启动日志：journalctl -b
- 按时间过滤：journalctl --since “2025-01-01” --until “2025-01-31”
- 如需更丰富的系统字段，可使用go-systemd/journald将日志直接写入 journal。示例：
- 安装：go get github.com/coreos/go-systemd/v22/journald
- 使用：创建 journald logger 后按级别输出，字段会进入 journal 并可被 journalctl 检索。
二 写入本地文件并用 logrotate 轮转
- 直接写文件时，务必配置logrotate避免磁盘被占满。
- 创建配置：/etc/logrotate.d/your-service-name
- 示例：
- /var/log/myapp/*.log {
- daily
- rotate 7
- compress
- missingok
- notifempty
- create 0644 root root
- }
- 程序中可将日志写入文件（示例）：
- logFile, err := os.OpenFile(“/var/log/myapp/app.log”, os.O_CREATE|os.O_APPEND|os.O_WRONLY, 0644)
- log.SetOutput(logFile)
- 如需同时兼顾本地文件与 systemd，可日志库同时添加多个io.Writer（例如 os.Stdout 与文件）。
三 发送到 syslog 或 rsyslog/syslog-ng
- 通过syslog协议将日志发送到系统日志服务，便于与既有 syslog 基础设施统一。
- 使用标准库直接写入 syslog（示例）：
- 建立连接：writer, err := syslog.New(syslog.LOG_INFO, “myapp”)
- 写入日志：writer.Info(“Application started”)
- 也可使用第三方库（如log15）的 SyslogHandler 将日志发送到 syslog。
- 查看系统日志：
- 实时查看：tail -f /var/log/syslog
- 关键字过滤：grep “error” /var/log/syslog
- 在 rsyslog/syslog-ng 侧可按 facility、tag 等做路由与过滤，实现跨服务集中。
四 集中化到 ELK 或 Loki 的可选方案
- 方案A（经典 ELK）：Golang 输出结构化 JSON 日志（推荐logrus、zap），使用Filebeat采集文件或直接由Logstash读取，Logstash 解析后写入Elasticsearch，在Kibana中做索引模式与可视化。
- 要点：JSON 结构化便于 Logstash 解析与 Kibana 聚合；索引可按天命名（如 golang-logs-YYYY.MM.DD）。
- 方案B（轻量云原生）：Golang 输出到stdout，以容器或 systemd 运行时由Fluent Bit/Promtail采集，发送至Loki，在Grafana中查询与告警（LogQL）。
- 方案C（消息队列解耦）：Golang 将日志发送至Kafka/RabbitMQ，由下游消费者（Logstash/自研服务）处理并写入 ES/Loki，适合高吞吐与削峰场景。
五 实践建议与最小落地配置
- 最小落地（systemd + 文件轮转）
- 程序：日志输出到stdout/stderr；如需本地文件，同时写入文件句柄。
- systemd 服务示例（/etc/systemd/system/myapp.service 片段）：
- [Service]
- ExecStart=/usr/local/bin/myapp
- StandardOutput=journal
- StandardError=journal
- Restart=always
- 查看：journalctl -u myapp -f
- 轮转：/etc/logrotate.d/myapp（见上文示例）
- 结构化与字段规范
- 统一时间格式（如RFC3339）、日志级别、服务名、实例/主机标识；建议包含request_id/trace_id以便与链路追踪联动。
- 性能与可靠性
- 生产环境优先使用zap等高性能库；必要时开启Sync或缓冲策略；多目标输出注意并发安全与 I/O 压力。