CentOS Overlay网络配置失败排查与修复
一、先快速定位问题类型
- 明确是容器网络的 Docker Overlay（跨主机容器通信），还是内核层的 OverlayFS（联合文件系统挂载）。
- 查看相关日志与模块状态：
- 容器侧：journalctl -u docker -n 200 或 tail -n 200 /var/log/messages /var/log/syslog
- 内核模块：lsmod | grep -E ‘overlay|br_netfilter’
- 网络连通：ping、traceroute 到目标容器/网关
- 防火墙：firewall-cmd --list-all
- 若日志出现 “failed to mount overlay: no such device”，多与内核模块或存储驱动有关；若提示 “iptables -t nat -N DOCKER: can’t initialize iptables table”，多与 iptables/nat 初始化失败有关。
二、Docker Overlay 网络修复步骤
- 内核与模块
- 检查内核：uname -r；CentOS 7 建议使用 ≥3.10.0-514 以获得更好的 overlay2 支持。
- 加载模块：sudo modprobe overlay；sudo modprobe br_netfilter；必要时检查 bridge 模块加载是否报错。
- Docker 存储驱动
- 确认使用 overlay2：docker info | grep -i ‘storage driver’。
- 若异常或报错 “no such device”，可尝试重装内核并重启：sudo yum reinstall kernel -y && reboot。
- iptables 与内核转发
- 确保内核转发开启：echo ‘net.bridge.bridge-nf-call-iptables=1’ | sudo tee /etc/sysctl.d/99-bridge.conf && sysctl -p
- 若 Docker 启动报 “failed to create NAT chain DOCKER”，检查 iptables/legacy 是否正常、是否被占用或策略限制。
- 防火墙与端口
- 放行相关流量（示例）：firewall-cmd --permanent --add-masquerade；firewall-cmd --permanent --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp；firewall-cmd --reload。
- 集群与节点
- 初始化/加入 Swarm 前，确保节点间 TCP 2377、UDP/TCP 7946、UDP 4789 可达；docker node ls 检查状态。
- SELinux
- 临时 setenforce 0 验证是否为 SELinux 引起的冲突，确认后再做策略放行或永久配置。
三、内核层 OverlayFS 挂载失败排查
- 检查挂载与参数
- /etc/fstab 示例：
overlay /mnt/overlay overlay defaults,lowerdir=/lower,upperdir=/upper,workdir=/work 0 0
- 确认目录存在且权限正确：ls -ld /lower /upper /work；必要时 chmod/chown。
- 磁盘与日志
- 空间检查：df -h；日志检查：journalctl -xe 或 tail /var/log/messages。
- 模块与内核
- 确认 overlay 模块：lsmod | grep overlay；若缺失或异常，重装内核并重启。
- 重新挂载
- 修正参数或修复底层错误后执行：mount -o remount /mnt/overlay 或 umount/挂载重试。
四、常见报错对照与处理
| 错误信息 |
可能原因 |
处理建议 |
| failed to mount overlay: no such device |
overlay 内核模块未加载/损坏、内核过旧 |
lsmod 检查；sudo modprobe overlay；必要时 yum reinstall kernel 并重启 |
| iptables -t nat -N DOCKER: can’t initialize iptables table |
内核转发未开、iptables/legacy 异常、被占用 |
开启 net.bridge.bridge-nf-call-iptables；检查 iptables 服务/策略；必要时重启 Docker |
| No route to host（容器间） |
防火墙/安全组阻断、VxLAN 端口不通、节点未加入同一网络 |
放行 4789/udp、7946/tcp/udp、2377/tcp；docker node ls 确认；检查物理/虚拟网络 |
| exec: “fuse-overlayfs”: executable file not found |
使用 fuse-overlayfs 但二进制缺失 |
安装 fuse-overlayfs（yum/dnf），或改用内核 overlay2 |
| SELinux 相关拒绝 |
SELinux 策略限制 |
临时 setenforce 0 验证；为 Docker/挂载点配置合适策略或永久关闭（不推荐） |
五、最小可用配置示例
- Docker Swarm Overlay（两节点）
- 节点1：docker swarm init --advertise-addr <管理网卡IP>
- 节点2：docker swarm join --token <管理网卡IP>:2377
- 创建网络：docker network create -d overlay my_overlay
- 防火墙放行：firewall-cmd --permanent --add-masquerade；firewall-cmd --permanent --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp；firewall-cmd --reload
- 验证：docker node ls；在跨节点容器中 ping 对端容器 IP。