Debian系统故障排查方法

Debian 系统故障排查方法

一 快速定位与信息收集

• 查看系统健康度：使用 uptime 观察负载与运行时间；用 top/htop 检查 CPU、内存、I/O 占用，定位异常进程。
• 查看内核与启动信息：用 dmesg 或 journalctl -k 检查驱动、硬件、内核报错；用 journalctl -b 查看本次启动日志。
• 查看系统日志：实时跟踪 tail -f /var/log/syslog；按服务查看 journalctl -u <服务名>；认证相关查看 /var/log/auth.log；内核日志 /var/log/kern.log。
• 检查网络连通与接口：用 ping 测试连通性；用 ip addr 查看地址与状态；用 ss -tulpen 检查监听与连接。
• 检查服务状态：用 systemctl status <服务名> 定位失败原因与最近日志。

二 常见故障场景与处理

• 服务无法启动：执行 systemctl status <服务名> 与 journalctl -xeu <服务名> 查看失败点；必要时 systemctl restart <服务名>；若配置变更导致，回滚并检查 /etc/ 下相关配置（如 /etc/fstab、/etc/network/interfaces）。
• 包与依赖问题：先 sudo apt update；修复依赖 sudo apt install -f；冲突或残留用 dpkg --configure -a；仍异常时尝试 sudo apt --fix-broken install 并谨慎使用 apt remove/purge。
• 文件系统与磁盘：异常关机或挂载失败，先卸载后用 fsck /dev/sdXN 检查修复；检查磁盘健康 sudo smartctl -a /dev/sdX；空间不足用 df -h 与 du -sh / 定位大文件。
• 网络不通：由近及远排查——本机 ip addr 与 ip route；网关连通 ping 网关IP；外部连通 ping 8.8.8.8；DNS 解析 nslookup example.com；检查 iptables/nftables 与云安全组/物理防火墙策略。
• 登录与安全：登录失败集中在 /var/log/auth.log；检查 sshd_config 与密钥；异常登录尝试可结合 fail2ban 或临时封禁来源 IP。
• 图形界面异常：无法进入桌面时，检查 systemctl status gdm3/lightdm/sddm；必要时重装显示栈 sudo apt install --reinstall xserver-xorg；仍无效可切换到 tty 备份数据再修复。

三 日志分析与性能定位

• 日志文件与定位路径：系统日志 /var/log/syslog、内核 /var/log/kern.log、认证 /var/log/auth.log；服务日志位于 /var/log/<服务名>/（如 /var/log/nginx/、/var/log/mysql/）。
• 高效检索与统计：
  • 实时跟踪：journalctl -f 或 tail -f /var/log/syslog
  • 时间范围：journalctl --since “2025-11-19 09:00:00” --until “2025-11-19 10:00:00”
  • 服务聚焦：journalctl -u nginx -b
  • 错误计数：grep -i error /var/log/syslog | sort | uniq -c | sort -nr
  • 字段提取：awk ‘{print $1,$2,$3,$5}’ /var/log/syslog | grep error
• 性能线索：在日志中检索 “load average” 观察峰值时段；结合 top/htop、vmstat、iostat 判断 CPU、内存、I/O 瓶颈；对高占用进程用 strace -p 跟踪系统调用定位卡点。

四 无法进入系统时的恢复手段

• 救援模式/单用户模式：在 GRUB 启动菜单按 e，在 linux 行末尾追加 systemd.unit=rescue.target（或 single），进入后具备 root 权限进行修复（如重置密码、修复 /etc/fstab、手动 fsck）。
• Live CD/USB 修复：从安装介质启动，挂载原系统分区（如 /dev/sda2）到 /mnt，绑定 /dev、/proc、/sys，chroot 后修复包、配置或重写引导（grub-install /dev/sda && update-grub）。
• 回滚与重装：有快照工具（如 Timeshift）可先恢复到稳定点；作为最后手段备份数据后重装系统。

五 预防与日常维护建议

• 变更留痕与回滚：重要变更前备份与记录；使用 Timeshift 做系统快照；对关键配置文件使用版本控制（如 etckeeper）。
• 日志与监控：保持 rsyslog/journald 正常运行；配置 Logwatch 日报或接入 ELK/Grafana 做可视化与告警；结合 Prometheus + Alertmanager 监控关键指标。
• 例行维护：定期 apt update && apt upgrade；清理无用包 apt autoremove；检查磁盘与 SMART；验证备份可用性。