Linux syslog为何日志丢失严重

Linux syslog日志丢失的常见根因

• 速率限制触发丢弃：默认情况下，rsyslog 与 systemd-journald 都会对单位时间内的日志条数做限流。典型默认是每 5 秒最多 200 条，超出的消息会被丢弃；常见日志提示如：“imjournal: X messages lost due to rate-limiting” 或 “Suppressed N messages from /system.slice/xxx.service”。这在应用短时间爆量（如异常、启动刷屏）时尤为明显。

• 日志轮转与清理策略导致“看不见”：logrotate 按大小或时间切割日志并删除旧文件。若保留份数或周期设置过小，或轮转后权限/属主不正确，容易造成“新日志写入了但旧日志被删/不可读”的错觉。常见配置位于 /etc/logrotate.conf 与 /etc/logrotate.d/rsyslog。

• 服务未运行或配置错误：rsyslog 未启动、配置语法错误、日志路径/权限不当，都会直接导致日志写入失败或丢失。应检查服务状态与配置文件有效性。

• 磁盘空间不足或 I/O 受阻：磁盘满、inode 耗尽或 I/O 拥塞，会使写入失败或被系统静默丢弃。应优先排查 df -h、df -i 与系统 I/O 状况。

• 网络传输丢包（远程日志场景）：使用 UDP 发送日志时，网络抖动、丢包或远端拥塞会造成日志缺失；TCP/RELP 更可靠但配置不当同样会丢。需核查网络连通性与远端接收能力。

• 权限/安全策略限制：日志文件或目录的权限/属主错误（如非 root:adm）、或 SELinux/AppArmor 策略限制，都会让写入失败。应检查文件权限与策略日志。

快速排查步骤

1. 检查服务状态与配置语法
   • 查看服务：systemctl status rsyslog；必要时 systemctl restart rsyslog
   • 语法检查：rsyslogd -N1（rsyslog 语法校验）
2. 查找限流丢弃痕迹
   • 查看内核日志：journalctl -u rsyslog | grep -i rate-limiting
   • 查看被抑制的日志：journalctl -u systemd-journald | grep -i suppressed
3. 检查磁盘与 inode
   • 空间：df -h；inode：df -i
4. 检查轮转与文件状态
   • 规则：cat /etc/logrotate.d/rsyslog
   • 权限/属主：ls -l /var/log/syslog（常见应为 root:adm）
5. 远程日志链路
   • 连通与端口：nc -vz 514（UDP/TCP 视配置而定）
6. 权限与安全策略
   • SELinux：getenforce、ausearch -m avc -ts recent
   • AppArmor：检查 /sys/kernel/security/apparmor/ 与日志

稳妥的修复与配置建议

• 调整或关闭速率限制（按需）

  • 调整 journald（/etc/systemd/journald.conf）：
    • 放宽：RateLimitInterval=1s、RateLimitBurst=10000
    • 关闭：RateLimitInterval=0、RateLimitBurst=0
  • 调整 rsyslog（/etc/rsyslog.conf 或 /etc/rsyslog.d/*.conf）：
    • 放宽：$SystemLogRateLimitInterval 1、$SystemLogRateLimitBurst 10000
    • 模块级放宽：$imjournalRatelimitInterval 1、$imjournalRatelimitBurst 10000
  • 应用与重启：systemctl restart systemd-journald rsyslog
  • 风险提示：放宽/关闭限流会提升日志完整度，但可能增加 CPU/磁盘 I/O 与 存储占用，请在容量与合规范围内调整。

• 正确配置 logrotate，避免“看不见”的丢失

  • 示例（/etc/logrotate.d/rsyslog）：
    • /var/log/syslog {
      • daily
      • rotate 30
      • compress
      • delaycompress
      • missingok
      • notifempty
      • create 0640 root adm
      • postrotate
        • /usr/sbin/systemctl reload rsyslog >/dev/null 2>&1 || true
      • endscript
    • }
  • 测试与生效：logrotate -d /etc/logrotate.d/rsyslog（调试），logrotate -f /etc/logrotate.d/rsyslog（强制执行）
  • 要点：保留足够历史（如 rotate 30）、设置合适权限（如 0640 root adm）、轮转后 reload rsyslog 保证持续写入。

• 远程日志的可靠性提升

  • 优先使用 TCP 或 RELP；在 rsyslog 输出动作中使用队列（如 action(type=“omfwd” target=“x.x.x.x” port=“514” protocol=“tcp” queue.type=“LinkedList” queue.size=“10000” queue.saveonshutdown=“on”)）以缓冲突发流量，减少远端瞬时拥塞导致的丢失。