Linux Overlay配置中的网络设置 - 问答

Linux Overlay网络设置指南

一概念与适用场景

Overlay网络是在Underlay（物理/三层网络）之上通过隧道或封装构建的虚拟二层网络，常见封装为VXLAN（L2 over L4，UDP），可在三层网络上扩展二层域，实现跨主机容器互联。优点是对底层网络依赖低、扩展性强；代价是封装/解封带来额外开销。相对地，Underlay（如 Macvlan、路由直连）性能更好，但对底层网络与设备能力要求更高。容器场景中，Overlay适合多主机、受限二层或云环境的跨主机通信与网络隔离。

二 Docker Swarm场景配置

前置要求
- 准备多主机 Docker 环境（Swarm 管理节点与工作节点）。
- 开放用于隧道与控制平面的端口：推荐UDP 4789（VXLAN）；如使用 Docker 的旧默认端口，还需确保UDP 8472可达；同时放行集群需要的控制面端口（如用于服务发现的端口，具体取决于你的编排与网络插件）。
创建 Overlay 网络
- 在管理节点创建覆盖网络（示例为10.20.1.0/24）：
```
docker network create --driver overlay --subnet 10.20.1.0/24 my_overlay
```

启动服务并加入网络

docker service create --name web --network my_overlay nginx:alpine

验证

进入容器检查地址与连通性：

docker exec -it <容器ID> sh
ip addr
ping 10.20.1.x

在主机侧查看 VXLAN 设备与转发状态：

ip -d link show type vxlan
bridge fdb show | grep <VNI或远端IP>

说明
- Docker Overlay 默认使用VXLAN封装；不同 Overlay 网络彼此隔离；容器访问外网通常通过docker_gwbridge网络完成 NAT。

三原生 Linux VXLAN手动配置

适用场景：不使用容器编排，直接在主机/网络命名空间间构建点对点或全互联的 Overlay。
点对点 VXLAN（两台主机）
- 主机A（Underlay IP：192.168.8.100）创建 VXLAN 接口：
```
sudo ip link add vxlan0 type vxlan \
  id 42 \
  dstport 4789 \
  remote 192.168.8.101 \
  local 192.168.8.100 \
  dev eth0
sudo ip link set vxlan0 up
```
- 主机B（Underlay IP：192.168.8.101）创建对端：
```
sudo ip link add vxlan0 type vxlan \
  id 42 \
  dstport 4789 \
  remote 192.168.8.100 \
  local 192.168.8.101 \
  dev eth0
sudo ip link set vxlan0 up
```
- 将 VXLAN 接口加入网桥（示例网桥 br0，已存在并 up），为网桥配置Overlay 网段 IP（如 10.20.1.1/24），即可承载二层通信。
关键要点
- VNI（id）在同一 Overlay 域内必须一致（示例为42）。
- 使用IANA 分配的 UDP 4789作为 VXLAN 端口更标准；Linux 早期默认8472为兼容保留端口，需按环境放行。
- VTEP 学习依赖ARP/FDB 表：首次通信可能触发广播，随后转为单播；可通过bridge fdb与ip neigh查看/维护表项。

四 Kubernetes场景配置

方案选型
- Flannel VXLAN：简单易用，适合小型/通用集群。
- Calico：可配置IPIP或VXLAN模式；IPIP 适合跨子网；VXLAN 为常见 Overlay。
- Cilium：基于eBPF，默认可用VXLAN作为 Overlay，具备高性能与可观测性优势。
- Weave Net / OVN / OVS：提供自动发现、加密与多封装支持，适配不同网络策略需求。

部署与验证

使用kubeadm或云厂商工具部署集群后，部署所选CNI 插件（如 Flannel/Calico/Cilium 的官方清单）。

验证：

kubectl get pods -A -o wide
kubectl run -it --rm debug --image=busybox:1.36 --restart=Never -- nslookup kubernetes.default.svc.cluster.local
kubectl exec -it <pod> -- ping <另一PodIP>

提示
- 选择VXLAN/IPIP等 Overlay 时，确保节点间UDP 4789（或插件指定端口）与必要的控制面端口可达；跨子网优先IPIP/VXLAN，同子网可考虑host-gw等无封装方案以降低开销。

五防火墙与MTU及排障要点

防火墙与端口
- 放行UDP 4789（VXLAN）；如使用 Docker 旧默认端口，放行UDP 8472；按需放行集群控制面端口与节点间通信所需端口。
MTU 规划
- Overlay 封装引入额外头部开销（通常约≈50字节），建议将Underlay MTU下调（如从1500降至1450），以避免分片与性能劣化；容器/网桥接口 MTU 需与物理出口一致或更小。

排障命令

查看 VXLAN/网桥/邻居表：

ip -d link show type vxlan
bridge fdb show
ip neigh

抓包定位封装与转发问题：

tcpdump -i eth0 -nn udp port 4789
tcpdump -i vxlan0 -nn

容器网络连通性：

docker exec -it <容器ID> ping <对端IP>
kubectl exec -it <pod> -- ping <对端IP>

常见陷阱
- VNI 冲突、Underlay 路由不通、端口未放行、MTU 未调优、FDB/ARP 未学习都会导致“能ping通网关但跨主机不通”的现象；逐跳检查 Underlay 连通性、隧道端口、表项与 MTU 可快速定位。

0 赞

0 踩