CentOS 上的 Overlay 与 Docker 网络协同工作
一、概念澄清
- 在 Docker 语境中，Overlay通常指跨主机的网络驱动，基于VXLAN封装在物理网络上构建二层覆盖网，使不同宿主机上的容器像在同一局域网中通信。它依赖 Docker 的CNM/Libnetwork模型与分布式状态同步（Swarm 内置或外部 K/V 存储如 Consul/Etcd）。
- 与之不同，OverlayFS是 Docker 的存储驱动（镜像/层合并），用于节省磁盘空间，和网络无关。两者名称相似但职责完全不同，避免混淆。
二、协同工作机制
- 控制平面：创建 Overlay 网络时，Docker 分配子网与VNI，并通过Swarm 控制面或外部KV 存储将网络配置分发到各节点，保持一致性。
- 数据平面：容器发出的原始帧被接入主机网桥，再由VXLAN 接口封装为UDP 4789报文，经物理网络送达目标主机；目标主机解封装后还原二层帧并送入对应容器。
- 协同要点：物理网络的IP 可达性与内核转发是基础；Overlay 负责容器层的身份与隔离与自动发现，两者分层解耦、协同完成跨主机通信。
三、在 CentOS 上的部署与验证
- 前提准备
- 所有节点启用IP 转发：sysctl -w net.ipv4.ip_forward=1；确保物理网络允许UDP 4789（VXLAN）、Swarm 管理端口TCP 2377与节点通信端口TCP/UDP 7946通行（云环境需放通安全组/ACL）。
- 建议将宿主机物理网卡MTU 调整为 1450，避免 VXLAN 封装导致分片（应用层可配合设置 MSS）。
- 方式 A（推荐）—使用 Docker Swarm 内置 Overlay
- 初始化 Swarm：docker swarm init（工作节点执行 docker swarm join …）。
- 创建可手动接入的 Overlay：docker network create -d overlay --attachable my-overlay。
- 部署服务或启动容器：docker service create --network my-overlay --replicas 2 nginx 或 docker run -it --rm --network my-overlay centos:7。
- 方式 B—使用外部 K/V（Consul/Etcd）驱动 Overlay
- 启动 Consul（示例）：docker run -d --restart always -p 8500:8500 -p 8600:53/udp -h consul progrium/consul -server -bootstrap。
- 配置 Docker 守护进程使用 K/V 存储并重启：在 /etc/docker/daemon.json 中加入
{
“cluster-store”: “consul://<consul_ip>:8500”,
“cluster-advertise”: “<host_iface_ip>:2376”
}
执行 systemctl restart docker。
- 在各节点创建同名 Overlay 网络并互通测试。
- 连通性与排障
- 容器间直连：docker exec -it ping <c2_ip>；跨主机建议使用服务名/DNS而非硬编码 IP。
- 抓包验证封装：在宿主机物理口抓 UDP 4789，确认 VXLAN 报文；查看 VXLAN/FDB 表与主机路由是否正确。
四、性能与安全最佳实践
- 性能
- 合理设置MTU=1450（或依据路径 MTU 测试微调），避免分片；必要时开启网卡VXLAN 硬件卸载（若支持）。
- 对延迟敏感流量，评估是否采用Host 网络或Underlay（如 macvlan/CNI）替代 Overlay。
- 安全
- 启用加密 Overlay：docker network create -d overlay --opt encrypted my-secure-net（Swarm 模式）。
- 严格管控UDP 4789与2377/7946访问，仅对可信节点开放；结合TLS保护管理面与控制面通信。
五、常见误区与排查要点
- 将OverlayFS（存储）误认为Overlay 网络，导致配置方向错误；前者在 /etc/docker/daemon.json 的 “storage-driver”，后者通过 docker network create -d overlay 创建。
- 未启用IP 转发或物理网络阻断 UDP 4789，Overlay 无法建立隧道；检查 sysctl 与防火墙/云安全组。
- 未将节点加入同一 Swarm或未共享外部 K/V，导致各节点看不到同名 Overlay 网络；检查 docker node ls 或 K/V 状态。
- 容器跨主机不通时，优先用服务名访问（内置 DNS），再用容器 IP 直连定位问题；必要时抓包与查看FDB/路由表。