ubuntu overlay网络配置

Ubuntu 上的 Overlay 网络配置指南

一、常见场景与前置条件

• 适用场景
  • Docker Swarm 模式：使用内置的 Overlay 驱动，多主机容器互通、内置服务发现与负载均衡。
  • 外部 KV 模式：使用 Consul/Etcd/Zookeeper 作为分布式存储，Docker 守护进程通过 cluster-store/cluster-advertise 接入，创建跨主机 Overlay。
• 前置条件
  • Ubuntu 主机可互通（同一二层/三层网络或可达路由），主机名唯一且可解析（/etc/hosts 或 DNS）。
  • Docker 已安装；Swarm 模式需先初始化或加入集群；KV 模式需部署并运行 Consul/Etcd/Zookeeper。
  • 开放相关端口（示例）：Consul 默认 8300/8301/8302/TCP、8500/TCP、8600/UDP；Docker 守护进程通信端口（如 2375/2376/TCP）需放通。

二、方案一 Docker Swarm 内置 Overlay（推荐）

• 初始化 Swarm（任选一台管理节点）
  • 命令：docker swarm init --advertise-addr <管理节点IP>
• 创建 Overlay 网络
  • 命令：docker network create -d overlay my_overlay
  • 指定子网（可选）：docker network create -d overlay --subnet 10.22.1.0/24 --gateway 10.22.1.1 my_overlay
• 部署服务/启动容器并加入网络
  • 服务：docker service create --name web --network my_overlay nginx
  • 容器：docker run -d --name app1 --network my_overlay ubuntu:24.04 sleep infinity
• 验证
  • 查看网络：docker network ls、docker network inspect my_overlay
  • 进入容器互 ping：docker exec -it app1 ping <另一容器IP>；Swarm 服务可通过内部 DNS 用服务名访问。

三、方案二 外部 KV 模式（Consul 示例）

• 部署 Consul（单节点演示）
  • 命令：docker run -d --name consul -p 8500:8500 -p 8300-8302:8300-8302 -p 8600:8600/udp progrium/consul -server -bootstrap
• 配置各节点 Docker 守护进程
  • 编辑 /etc/docker/daemon.json（两台主机都配，注意接口/IP 与端口）
    • 示例：
      • { "cluster-store": "consul://<Consul_IP>:8500", "cluster-advertise": "<本机IP或接口名>:2375" }
  • 重启 Docker：sudo systemctl daemon-reload && sudo systemctl restart docker
• 创建 Overlay 网络并验证
  • 创建：docker network create -d overlay --subnet 10.22.1.0/24 my_overlay
  • 运行容器：docker run -d --name c1 --network my_overlay ubuntu:24.04 sleep infinity
  • 验证：docker exec -it c1 ping <另一主机容器IP>。

四、多 Overlay 网络与服务编排

• 创建多个 Overlay 网络
  • 命令：
    • docker network create --driver overlay --subnet 10.0.9.0/24 my_overlay_1
    • docker network create --driver overlay --subnet 10.0.10.0/24 my_overlay_2
• 容器连接到不同网络
  • 命令：
    • docker run -d --name web1 --network my_overlay_1 nginx
    • docker run -d --name web2 --network my_overlay_2 nginx
• 使用 Docker Compose（以 Swarm 部署为例）
  • 文件要点：
    • 将网络声明为 external: true，由 Swarm 预先创建
    • 使用 docker stack deploy -c docker-compose.yml <stack>
  • 示例：
    • version: ‘3.8’ services: web1: image: nginx networks: - my_overlay_1 web2: image: nginx networks: - my_overlay_2 networks: my_overlay_1: external: true my_overlay_2: external: true

五、故障排查与最佳实践

• 基本检查
  • 节点互通：ping <对端IP>；端口连通：nc -vz <IP> <端口>（如 8500/8301/2375）。
  • Docker 状态：systemctl status docker；集群/节点：docker node ls（Swarm）。
  • 网络与端点：docker network ls、docker network inspect <net>、docker ps -a。
• 常见问题
  • 主机名不唯一或不可解析：确保 /etc/hosts 或 DNS 正确。
  • KV/端口配置错误：核对 cluster-store、cluster-advertise 与防火墙策略。
  • 子网冲突：Overlay 子网不要与宿主机网段重叠。
  • 防火墙/安全组：放通 VXLAN/Consul/Docker 相关端口，云环境需配置安全组规则。
• 实践建议
  • 生产优先 Swarm 内置 Overlay；KV 模式用于与现有 Consul/Etcd 集成。
  • 固定 子网与网关，为关键服务规划 静态 IP/别名。
  • 使用 服务名 进行容器间访问（Swarm 内置 DNS），减少硬编码 IP。