Ubuntu Overlay 日志管理实践
一 日志来源与采集路径
- OverlayFS 的核心日志来自内核，通过以下渠道集中采集与留存：
- 内核环缓冲：使用 dmesg | grep overlay 快速查看内核日志中的 Overlay 相关条目。
- 系统日志：检查 /var/log/syslog 与 /var/log/kern.log，Overlay 挂载、I/O 错误等通常会出现在这里。
- systemd 日志：使用 journalctl -xe | grep overlay 检索与 Overlay 相关的服务与内核消息。
- 容器/编排场景：若由 Docker 管理 Overlay（常见为 overlay2 存储驱动），同时查看 journalctl -u docker.service 获取守护进程与存储驱动的日志上下文。
二 日志轮转与保留策略
- 配置 rsyslog 的日志轮转（影响如 /var/log/kern.log、/var/log/syslog 的切分与保留）：
- 编辑或新增配置：/etc/rsyslog.d/50-default.conf（或自定义文件），按需设置轮转规则与文件大小阈值。
- 使配置生效：sudo systemctl restart rsyslog。
- 配置 systemd-journald 的持久化与空间上限（影响 journal 日志的磁盘占用与留存）：
- 编辑：/etc/systemd/journald.conf，设置如 SystemMaxUse=50M、SystemKeepFree=10M、SystemMaxFileSize=10M、SystemMaxFiles=5。
- 使配置生效：sudo systemctl restart systemd-journald。
- 建议：为内核与系统日志设置合理的保留周期与最大占用，避免因日志无限增长导致 磁盘空间不足（OverlayFS 环境中尤需关注 upperdir 所在分区）。
三 日志级别与审计增强
- 调整系统日志级别（rsyslog）：
- 在 /etc/rsyslog.conf 或 /etc/rsyslog.d/ 下为相应设施（如 kern.、authpriv.、user.、cron.、mail.*）设定日志级别与目标文件，然后 sudo systemctl restart rsyslog。
- 调整 journald 日志级别与采集范围：
- 在 /etc/systemd/journald.conf 中配置如 MaxLevelSyslog=debug（示例）以采集更细粒度的内核与系统日志，随后 sudo systemctl restart systemd-journald。
- 启用 auditd 进行安全审计（监控对 Overlay 相关路径的访问与系统调用）：
- 安装与启动：sudo apt update && sudo apt install auditd audispd-plugins linux-audit，然后 sudo systemctl start auditd && sudo systemctl enable auditd。
- 添加规则（示例）：监控 Overlay 挂载点与关键目录
- 目录监视：sudo auditctl -w /path/to/upperdir -p wa -k overlay_upper
- 挂载点监视：sudo auditctl -w /path/to/merged -p wa -k overlay_merged
- 持久化：将规则写入 /etc/audit/rules.d/audit.rules 并执行 sudo augenrules --load
- 查询审计日志：sudo ausearch -k overlay_upper 或 sudo ausearch -m avc -ts recent -i。
四 容器与编排场景的日志管理（Docker overlay2）
- 确认 Docker 使用 overlay2 存储驱动：
- 查看：docker info | grep -i “storage driver”（应为 overlay2）。
- 配置：在 /etc/docker/daemon.json 中设置
- { “storage-driver”: “overlay2” }
- 可同时配置日志驱动与日志级别（如 json-file 的 log-level），然后 sudo systemctl restart docker。
- 容器日志与系统日志联动：
- 容器标准输出/错误由 Docker 日志驱动写入（常见为 /var/lib/docker/containers//-json.log），并由 journald 与 rsyslog 统一采集与轮转。
- 排查容器与 Overlay 交互问题时，联合查看：
- journalctl -u docker.service
- dmesg | grep overlay
- grep overlay /var/log/syslog
- 容器日志文件与 docker logs 。
五 快速排查命令清单
- 内核与系统日志：
- dmesg -T | grep -i overlay
- journalctl -k -b | grep -i overlay
- grep -i overlay /var/log/syslog /var/log/kern.log
- 服务与容器：
- journalctl -u docker.service -b
- docker info | grep -i “storage driver”
- docker logs
- 审计追踪：
- sudo ausearch -k overlay_upper
- sudo ausearch -m avc -ts recent -i
- 运行环境健康：
- df -h（关注 upperdir 与根分区）
- mount | grep overlay
- 必要时对底层文件系统执行 fsck 并重新挂载 Overlay。