如何在Ubuntu Overlay中进行故障排查 - 问答

Ubuntu Overlay 故障排查指南

先明确问题类型

若你遇到的是文件系统层的联合挂载问题（如 Docker/Podman 的 overlay2 存储、手动 mount -t overlay），请按本文的 OverlayFS 文件系统部分排查。
若你遇到的是容器/虚拟网络中的 Overlay 网络（如 VXLAN、Geneve、flannel/calico 等），请跳到 Overlay 网络部分。

OverlayFS 文件系统排查步骤

检查底层文件系统健康
- 卸载相关分区后在离线状态执行：fsck /dev/sdXY；OverlayFS 的稳定性依赖底层存储健康。
核对挂载参数与目录
- 确认 lowerdir、upperdir、workdir 路径存在且类型正确（workdir 必须是空目录），再执行：
  - mount -t overlay overlay -o lowerdir=/path/to/lowerdir,upperdir=/path/to/upperdir,workdir=/path/to/workdir /merged
权限与所有权
- 合并层与上层目录权限需合理，例如：chmod -R 755 /path/to/merged、chown -R user:user /path/to/merged。
磁盘空间
- 写操作落在 upperdir，务必确保空间充足：df -h /path/to/upperdir（同时关注 lowerdir/workdir 所在分区）。
内核与模块
- 确认内核支持并已加载模块：lsmod | grep overlay；现代 Ubuntu 内核默认支持。
系统日志定位
- 查看内核与系统日志：dmesg | grep -i overlay、journalctl -xe | grep -i overlay、tail -n50 /var/log/syslog。
重新挂载验证
- 修正后尝试重新挂载并检查：mount | grep overlay、在 merged 目录进行读写/删除验证。
升级修复已知问题
- 更新系统与内核以修复历史缺陷（如 CVE-2021-3493 已在 Linux 5.11 起修复）：sudo apt update && sudo apt upgrade。
变更前务必备份重要数据，避免不可逆损失。

Overlay 网络排查步骤

拓扑与配置核对
- 明确 VTEP 地址、隧道协议（VXLAN/NVGRE）、VNI/租户、MTU 等关键参数与设计一致。
物理与端口状态
- 使用 ip link、ethtool 检查链路、速率、双工与错误计数。
VTEP 与隧道接口
- 查看隧道设备与状态：ip link show、bridge fdb（VXLAN 需关注远端 VTEP 学习情况）、必要时检查 /sys/class/net// 下状态。
连通性与路径
- 在相同二层域/路由域内进行 ping 与 traceroute/mtr，定位丢包或异常跳点。
MTU 一致性
- 隧道封装会占用字节，确保 物理口、隧道口、对端设备 的 MTU 一致，必要时下调以避免分片。
防火墙与安全组
- 放行 VXLAN 协议（UDP 4789） 或相应隧道端口，云环境同步检查 安全组/NACL 规则。
分段与替换法
- 按 节点-隧道-对端 分段测试，逐步缩小故障域，必要时替换疑似故障设备/虚机。
监控与日志
- 收集 VTEP/容器网络插件（flannel/calico） 日志，结合 Prometheus/Grafana 观察丢包、延迟与错误计数。

快速命令清单

OverlayFS 文件系统
- 查看与挂载：mount | grep overlay；lsmod | grep overlay
- 手工挂载：mount -t overlay overlay -o lowerdir=lower,upperdir=upper,workdir=work merged
- 健康检查：fsck /dev/sdXY；df -h upper；dmesg | grep -i overlay；journalctl -xe | grep -i overlay
Overlay 网络
- 接口与转发：ip link；bridge fdb；ip route；ethtool
- 连通与路径：ping；traceroute/mtr
- 防火墙：sudo ufw status；iptables -S；nft list ruleset

常见症状与处理对照表

症状	优先检查	快速修复
mount 报错 “lowerdir/upperdir/workdir 无效或不存在”	路径是否存在、是否为目录、权限是否足够	修正路径；确保 workdir 为空目录；chmod/chown 后重试
写入失败或创建文件报错 No space left on device	upperdir 所在分区空间	清理 upperdir 或扩容；确认 df -h 输出
删除文件无效或“白屏”现象	理解 whiteout 机制	这是预期行为；如需恢复底层文件，需重建 upper 层或调整挂载
容器无法启动/镜像层只读	Docker/Podman 使用 overlay2 存储	检查 /var/lib/docker 所在分区空间与权限；重启服务；必要时清理无用镜像/容器
容器间跨主机网络不通	VXLAN/隧道状态、VTEP 学习、MTU、防火墙	核对 VNI/端口/MTU；bridge fdb 查看远端学习；放行 UDP 4789；分段 ping/traceroute 定位

需要你补充的关键信息（便于精确定位）

0 赞

0 踩