CentOS 配置 Overlay 网络的关键注意事项
一 概念与前提
- 明确目标：Overlay 既可能指 Docker 的Overlay 存储驱动（overlay/overlay2），也可能是容器跨主机的Overlay 网络（基于 VXLAN 封装）。两者关注点不同，配置项也不同。
- 系统基线：建议使用 CentOS 7+，并确保内核与文件系统满足要求。
- 主机互联：跨主机 Overlay 网络需要各节点间网络互通，并开放相应端口或隧道流量。
- 管理工具：Docker 环境下，跨主机 Overlay 网络通常依赖 Docker Swarm 或编排平台（如 Kubernetes）提供的控制面与数据面支持。
二 存储驱动 overlay2 的要点（如你是为容器镜像/层存储配置 Overlay）
- 内核与模块：确保内核支持并加载 overlay 模块（如未加载可执行
modprobe overlay）。
- 文件系统：若使用 XFS，需在格式化时开启 ftype=1（例如：
mkfs.xfs -n ftype=1 /dev/sdXY），否则 overlay2 可能无法正常工作。
- 驱动选择：优先使用 overlay2（而非旧的 overlay），并在
/etc/docker/daemon.json 明确配置：
{
“storage-driver”: “overlay2”
}
- 版本建议：在 CentOS 7 上，overlay2 通常要求较新的内核（如 4.x 系列）；若遇到兼容性问题，先升级内核再启用。
- 变更流程：修改
daemon.json 后执行 systemctl restart docker，并用 docker info | grep -i storage 验证生效。
三 Docker Overlay 网络的关键配置（跨主机容器通信）
- 前提条件：各节点已安装并运行 Docker，且节点间网络可达。
- 启用方式：
- 使用 Docker Swarm：在管理节点执行
docker swarm init，工作节点加入后，创建网络时加上 –attachable 以便非 Swarm 服务容器也能接入：
docker network create --driver overlay --attachable --subnet=10.0.0.0/24 --gateway=10.0.0.1 my_overlay
- 非 Swarm 场景通常无法直接使用 Overlay 网络，需改用 Swarm 或采用其他网络方案。
- 端口与隧道：确保节点间允许 VXLAN 封装流量（UDP 4789），以及 Swarm 管理端口 2377/TCP、节点间通信端口 7946/TCP 与 UDP、可选的控制面端口 2376/TCP（TLS）。如使用防火墙（firewalld/iptables），需放行上述端口。
- 加密与隔离：生产环境建议启用 TLS 加密控制面通信，并按需做网络与命名空间隔离。
四 安全与系统策略
- SELinux：若启用 SELinux，需确认其对 Docker/容器网络的操作未被拒绝；必要时调整策略或以合适的方式运行容器（如设置正确的 SELinux 标签/类型）。
- 防火墙：放行 Docker 守护进程与 Overlay 所需端口（如 2376/2377/7946/4789 等），避免节点间发现与隧道建立失败。
- 最小权限：遵循最小权限原则，限制管理端口与集群加入令牌的暴露范围。
五 验证与排障清单
- 存储驱动：执行
docker info | grep -i storage，确认为 overlay2；若异常，检查内核模块与 XFS 的 ftype=1。
- 网络连通：
- Swarm 状态：
docker node ls 检查节点 Ready；
- 网络与容器：
docker network ls、docker network inspect <net>、docker ps --filter "network=<net>"；
- 跨主机连通：在两端容器中互 ping 或通过服务发现验证。
- 日志与诊断：
docker network inspect 查看网络配置细节，结合 docker logs 与系统日志定位隧道/VXLAN/防火墙问题。