Overlay网络配置技巧有哪些

Overlay网络配置技巧

一 规划与协议选择

• 明确业务对带宽、延迟、可靠性、安全性的要求，并预留扩展空间（节点数、网段规模、路由表容量）。
• 选择隧道/封装技术：通用场景优先VXLAN（UDP 4789，兼容性好）；设备支持时可优先Geneve（可扩展选项头，高负载下性能更优）；亦可根据环境评估NVGRE、STT。
• 规划IP地址与子网，避免与物理网络和其他虚拟网络冲突；必要时使用VLAN进行二层隔离。
• 设计冗余与故障恢复（多路径、故障域隔离、控制平面高可用）。

二 Docker与Kubernetes快速配置

• Docker Swarm
  • 确认内核支持并加载模块：执行modprobe overlay；如需开机自启，写入**/etc/modules-load.d/overlay.conf**。
  • 存储驱动建议使用overlay2（CentOS 7+ 默认）；如需强制指定，编辑**/etc/docker/daemon.json**：{“storage-driver”: “overlay2”} 并重启。
  • 创建 Overlay：docker network create --driver overlay --subnet 10.0.0.0/24 --gateway 10.0.0.1 my_overlay；跨主机通信依赖VXLAN。
  • 安全与连通：为控制面启用TLS（/etc/docker/daemon.json 中设置 “tls”: true 等）；防火墙放行UDP 4789。
• Kubernetes
  • 通过CNI实现 Overlay：常用Calico（支持 BGP/Overlay 模式）或Flannel（VXLAN 模式）。
  • 一键部署 Calico：kubectl apply -f https://docs.projectcalico.org/v3.25/manifests/calico.yaml；检查 kube-system 命名空间下 Calico Pod 均为 Running。
  • 使用 NetworkPolicy 限制命名空间/Pod 间访问，遵循最小权限原则。

三 性能与MTU关键设置

• 正确设置MTU：Overlay 封装会引入开销（如 VXLAN ≈ 50 字节）。若物理网络 MTU 为 1500，建议 Overlay MTU 设为1450。示例：docker network create … --opt mtu=1450。
• 启用Jumbo Frames（前提：交换机、网卡、路由器全链路支持）：物理 MTU 设为9000可减少分片、提升吞吐。示例（Netplan）：
  network: version: 2 renderer: networkd ethernets: eth0: mtu: 9000 …
• 底层网络优化：优先万兆/更高速链路、启用QoS保障关键业务、选用高性能 NIC/交换机降低转发时延。
• 协议选择：设备支持时优先Geneve；需兼容旧设备使用VXLAN。

四 安全与防火墙要点

• 放行隧道流量：防火墙放行UDP 4789（VXLAN）；如使用 GRE 则放行相应协议。
• 区域与接口策略：将隧道/桥接接口加入trusted区域可简化规则管理（firewall-cmd --permanent --zone=trusted --add-interface=br-overlay && firewall-cmd --reload）。
• 数据面与控制面安全：为 Docker 控制面启用TLS证书校验；在 Kubernetes 中用 NetworkPolicy 精细化控制Ingress/Egress。
• 加密与访问控制：对敏感业务流量启用隧道加密；仅授权节点可加入 Overlay（节点认证/准入控制）。

五 运维监控与排障清单

• 连通性验证：在容器内 ping 对端 IP；跨主机场景结合 docker network inspect 检查 VXLAN 隧道与容器映射。
• 性能与健康：使用 docker stats、iftop/nload、ping/traceroute、ip -s link 观察带宽、延迟、丢包与错误包。
• 策略与配置核查：在 Kubernetes 中核查 NetworkPolicy 是否阻断预期流量；确认 CNI DaemonSet/Pod 就绪。
• 变更与回滚：遵循“先测试、后推广”，变更前备份配置，准备回滚方案；定期更新补丁与版本。