Ubuntu上如何进行日志分析与管理 - 问答

Ubuntu日志分析与管理实操指南

一核心位置与快速查看

日志集中目录为**/var/log**。常见文件与用途：
- /var/log/syslog：系统综合日志（所有级别消息）
- /var/log/auth.log：认证与授权（SSH 登录、sudo 等）
- /var/log/kern.log：内核日志
- /var/log/dmesg：内核环缓冲（启动相关）
- /var/log/boot.log：启动过程日志
- 应用日志：/var/log/apache2/、/var/log/mysql/ 等
快速查看与检索常用命令：
- 实时查看：tail -f /var/log/syslog
- 关键字检索：grep -i ‘error’ /var/log/syslog
- 查看服务日志（systemd）：journalctl -u nginx.service
- 按时间过滤：journalctl --since “2025-12-06 00:00:00” --until “2025-12-06 12:00:00”
- 查看本次启动：journalctl -b
- 查看内核消息：journalctl -k 或 dmesg

二常用分析与过滤命令

基础文本工具组合：
- 统计某日错误数：awk ‘/Dec 6/ && /error/ {count++} END {print “errors:”, count}’ /var/log/syslog
- 提取某字段并去重计数（示例提取 IP）：awk ‘{print $1}’ /var/log/auth.log | sort | uniq -c | sort -nr | head
- 按时间窗口查看：sed -n ‘/Dec 6 10:00:00/,/Dec 6 11:00:00/p’ /var/log/syslog
journalctl 高效检索：
- 最近 N 条：journalctl -n 100
- 倒序查看：journalctl -r
- 仅本次启动的错误：journalctl -b -p err
- 按服务与优先级：journalctl -u nginx -p warning…err
审计日志（auditd）：
- 生成文件访问报告：aureport --file
- 生成进程创建报告：aureport --process

三日志管理与轮转配置

使用 logrotate 做按日/按大小轮转、压缩与清理（默认已安装）：

全局配置：/etc/logrotate.conf；服务配置：/etc/logrotate.d/（如 syslog、nginx）

示例（/etc/logrotate.d/syslog）：

/var/log/syslog
/var/log/mail.info
/var/log/mail.warn
/var/log/mail.err
/var/log/mail.log
/var/log/daemon.log
/var/log/kern.log
/var/log/auth.log
/var/log/user.log
/var/log/lpr.log
/var/log/cron.log
/var/log/debug
/var/log/messages {
    daily
    rotate 7
    missingok
    notifempty
    compress
    delaycompress
    sharedscripts
    postrotate
        /usr/lib/rsyslog/rsyslogd reload > /dev/null
    endscript
}

测试与强制执行：logrotate -vf /etc/logrotate.conf

使用 rsyslog 做日志转发与过滤（默认已安装）：
- 主配置：/etc/rsyslog.conf；自定义规则：/etc/rsyslog.d/*.conf
- 示例（转发 auth 日志到远程）：
```
auth,authpriv.*   @192.0.2.10:514
```
- 重启服务：sudo systemctl restart rsyslog
集中式与可视化方案（按需选配）：
- ELK Stack（Elasticsearch + Logstash + Kibana）：集中存储、检索与可视化
- Graylog：日志管理与 SIEM 能力
- Grafana Loki + Promtail：轻量聚合与查询，适合与 Grafana 联动

四安全与合规要点

访问控制与完整性：
- 关键日志目录与文件权限最小化（如 /var/log/ 属主 root:adm，权限 0755/0640）
- 通过 auditd 对关键日志文件设置监控（如 auditctl -w /var/log/auth.log -p wa -k auth_log）
日志级别与内容治理：
- 生产环境避免 debug/trace 级别泛滥；在日志中避免记录密码、密钥、令牌等敏感信息
- 统一日志格式（建议包含：时间、主机、服务/进程、级别、线程/请求ID、消息），便于检索与聚合
保留与归档策略：
- 结合业务与合规要求设置保留周期（如 rotate 30 保留 30 份/天），对含敏感信息的归档进行加密与访问控制
远程集中与备份：
- 将关键日志发送到远程日志服务器，降低本地篡改风险；定期异地/离线备份审计与认证日志

五高效分析与排障清单

定位服务启动失败：journalctl -u <服务名> -b -e（直接跳到本次启动末尾的错误）
追踪认证异常：grep -i ‘failed|invalid’ /var/log/auth.log | tail -50
分析内核与硬件问题：dmesg -T | tail -50 或 journalctl -k -p err
排查 Web 访问异常（Nginx）：tail -f /var/log/nginx/error.log | grep -i ‘timeout’
生成每日摘要报告：/usr/sbin/logwatch --output mail --mailto you@example.com --detail high
快速定位大文件与增长趋势：du -h /var/log --max-depth=1 | sort -hr；对异常增长的服务优先检查日志级别与轮转策略

0 赞

0 踩