Ubuntu Overlay配置中如何处理故障恢复

Ubuntu Overlay 配置故障恢复指南

一 快速应急与回退

• 进入救援或单用户环境：重启，在 GRUB 菜单选择 Advanced options for Ubuntu → (recovery mode)；或在引导条目按 e 在 linux 行末尾追加 systemd.unit=rescue.target，按 Ctrl+X 启动。此模式可安全卸载或修复只读挂载的 Overlay。
• 只读回退挂载：若业务允许，将 Overlay 临时以只读方式挂载，保障可用性。
• Docker 场景快速降级：编辑 /etc/docker/daemon.json，将存储驱动改为 “vfs”，重启 Docker 验证（docker info | grep Storage）。注意 vfs 性能较低，仅用于应急恢复。

二 通用故障排查与修复

• 检查底层文件系统健康：对 lowerdir/workdir 所在分区执行 fsck /dev/sdXY，修复潜在错误。
• 核对挂载参数：确保 lowerdir、upperdir、workdir 路径正确且存在，再执行挂载：
  mount -t overlay overlay -o lowerdir=/path/lower,upperdir=/path/upper,workdir=/path/work /merged
• 权限与所有权：确认挂载点与相关目录权限合理，例如：
  chmod -R 755 /path/merged
  chown -R user:user /path/merged
• 磁盘空间：检查 upperdir/workdir 所在分区可用空间，避免写入失败：
  df -h /path/upper /path/work
• 日志定位：查看内核与系统日志获取线索：
  dmesg | grep overlay
  journalctl -xe | grep overlay
• 重新挂载验证：完成修复后重新挂载，确认业务恢复。

三 Docker Overlay2 专项恢复

• 确认当前存储驱动：docker info | grep Storage。
• 临时切换到 vfs 恢复拉取/启动：
  1. 编辑 /etc/docker/daemon.json，设置 “storage-driver”: “vfs”；
  2. 重启 Docker：systemctl restart docker；
  3. 验证：docker info | grep Storage。
• 故障根因排查要点：
  • 检查 /var/lib/docker 所在分区空间（df -h）；
  • 检查 /var/log/syslog 与 dmesg 中的 Overlay 报错；
  • 必要时升级 内核/系统 并重启后再切回 overlay2。

四 数据保全与进一步恢复

• 优先使用备份恢复；若无备份，先停止写入并备份现有状态。
• 针对底层 ext3/ext4 等文件系统，可使用 extundelete 等工具尝试恢复已删除文件；操作前再次备份当前可访问数据，避免二次损坏。
• 若仍无法恢复，建议联系专业数据恢复服务。

五 预防与配置建议

• 始终保留一份可用的 rootfs/关键数据 备份；变更前先在测试环境验证。
• 为 upperdir/workdir 预留充足空间，并配置监控告警；定期检查 /var/log/syslog 与 dmesg 的 Overlay 相关日志。
• 在 Docker 等生产环境保持系统与内核更新，必要时按计划重启；遇到异常可先降级到 vfs 恢复业务，再定位并修复根因。