CentOS 系统日志 message 故障排查与修复
一、先确认问题范围
- 明确“message”指的是哪类问题：是终端/应用提示的“message”报错，还是系统日志服务（如 journald 与 rsyslog）异常，亦或是日志文件 /var/log/messages 无法写入。
- 快速检查：
- 查看系统日志与内核环形缓冲：
- journalctl -xe
- dmesg | tail -n 50
- 查看传统日志文件：
- tail -n 100 /var/log/messages
- 若系统使用 rsyslog，检查服务状态：systemctl status rsyslog
- 检查磁盘与内存：
- df -h（关注根分区与 /var）
- free -m
- 若涉及某具体服务，查看其状态与日志：
- systemctl status
- journalctl -u -xe
以上步骤可快速定位是日志系统本身故障，还是某服务在写日志时报错。
二、常见故障场景与处理
- 日志服务未运行或异常
- 现象：/var/log/messages 长时间不更新、journalctl 报错、服务起不来。
- 处理：
- systemctl restart rsyslog
- systemctl restart systemd-journald
- 查看状态与日志：systemctl status rsyslog；journalctl -u rsyslog -xe；journalctl -u systemd-journald -xe
- 日志文件权限或磁盘问题
- 现象：应用写日志报“Permission denied”或“No space left on device”。
- 处理：
- 检查磁盘：df -h；清理大文件或扩容。
- 检查并修复权限（以 rsyslog 为例）：
- ls -ld /var/log /var/log/messages
- chown root:root /var/log/messages
- chmod 0600 /var/log/messages
- restorecon -v /var/log/messages（若启用 SELinux）
- 日志轮转配置异常
- 现象：日志文件异常膨胀或未按天轮转。
- 处理：
- 检查 /etc/logrotate.d/syslog 与 /etc/logrotate.conf 语法与执行时间。
- 手动测试轮转：logrotate -d /etc/logrotate.conf（调试模式），确认无误后执行：logrotate -f /etc/logrotate.conf
- SELinux 策略阻止写日志
- 现象：audit.log 出现 avc: denied，/var/log/messages 无新日志。
- 处理：
- 临时放宽：setenforce 0（仅测试）；
- 永久修复：ausearch -m avc -ts recent | audit2allow -M mylog && semodule -i mylog.pp
- 配置错误导致服务启动失败
- 现象：修改 rsyslog 配置后服务起不来。
- 处理：
- 语法检查：rsyslogd -N1（检查配置语法）
- 修正 /etc/rsyslog.conf 或 /etc/rsyslog.d/*.conf 后重启：systemctl restart rsyslog
- 兼容性问题（如从旧系统迁移、容器/虚拟化环境）
- 现象：日志格式或路径不一致、journald 与 syslog 配合异常。
- 处理：
- 统一使用 journalctl 查询与分析；
- 确认 rsyslog 的 imjournal 模块已启用并配置正确；
- 检查系统时间同步（chrony 或 ntp），避免时间倒退影响日志顺序。
三、快速修复脚本示例
- 适用于多数“日志不写/服务异常”的通用排查与恢复（请先在测试环境验证，或确保有回滚方案）：
- 重启日志服务并检查状态
- systemctl restart rsyslog systemd-journald
- systemctl status rsyslog systemd-journald
- 查看最近错误与内核消息
- journalctl -xe -b
- dmesg | tail -n 50
- 检查磁盘与关键目录权限
- df -h
- ls -ld /var /var/log /var/log/messages
- chown root:root /var/log/messages && chmod 0600 /var/log/messages
- 校验并修复 rsyslog 配置
- rsyslogd -N1
- systemctl restart rsyslog
- 测试日志轮转
- logrotate -d /etc/logrotate.conf
- logrotate -f /etc/logrotate.conf
- 如怀疑 SELinux，先临时切换并审计
- setenforce 0
- ausearch -m avc -ts recent | audit2allow -M mylog && semodule -i mylog.pp
- setenforce 1
以上命令覆盖了服务、权限、磁盘、配置、轮转与 SELinux 的高频根因。
四、仍未解决时的有效求助方式
- 准备并贴出以下关键信息，便于快速定位：
- 具体报错原文（终端/应用输出）。
- 相关日志片段：
- tail -n 200 /var/log/messages
- journalctl -u rsyslog -xe -b
- dmesg | tail -n 50
- 系统版本：cat /etc/centos-release
- 最近变更：是否更新、是否修改过 rsyslog/logrotate/SELinux 策略。
- 可先在官方论坛或社区搜索相同报错关键词，或按问题来源（服务/配置/资源/兼容性）分模块求助。