Ubuntu Overlay网络优化指南
一 基础架构与协议选择
- 明确场景：Overlay 多用于容器跨主机通信，常见实现包括 Docker Overlay（基于 VXLAN）、flannel、Calico 等；若非跨主机，优先评估是否真的需要 Overlay。
- 协议取舍：在大规模与多租户场景优先 VXLAN；需要更灵活扩展与元数据能力时选择 Geneve；传统环境可见 NVGRE。
- 控制面与数据面：Docker Swarm/原生 Overlay 依赖 KV 存储（Consul/Etcd/ZooKeeper） 维护网络状态；Kubernetes 常用 flannel 等组件。确保控制面高可用与低延迟，避免成为瓶颈。
二 传输层与内核参数优化
- MTU 规划：Overlay 封装会引入额外头部，建议在物理网卡、网桥与容器接口上统一设置 MTU=1450（或按实际封装开销计算），避免分片与丢包。
- 连接与时延：
- 开启并优化 TCP Keepalive（缩短探测间隔与次数），减少长空闲链路断连。
- 启用 TCP Fast Open（TFO） 降低握手时延。
- 启用 窗口缩放（window scaling） 以适配高带宽时延积（BDP）链路。
- 连接复用与回收：
- 开启 tcp_tw_reuse，适度调小 tcp_fin_timeout，提升短连接高并发场景的端口复用效率。
- 视连接规模调大 nf_conntrack_max，并缩短 nf_conntrack_tcp_timeout_time_wait，防止 conntrack 表项耗尽。
- 缓冲区与转发：
- 提升 net.core.rmem_max / wmem_max 与相应默认/最小缓冲区，减少高带宽下的丢包与重传。
- 确保 net.ipv4.ip_forward=1，保证容器跨网段转发正常。
三 主机与网卡层面优化
- 硬件与拓扑：优先使用 高性能 NIC 与低延迟交换网络，优化拓扑减少 跨主机跳数 与拥塞。
- 队列与中断：通过 ethtool -G 调大 RX/TX 环形缓冲，结合中断亲和与 RPS/RFS（多队列网卡）提升多核利用率与 PPS 能力。
- 硬件卸载：启用 VXLAN 封装/解封装硬件卸载（如支持），显著降低 CPU 占用并提升吞吐。
- 多路径与冗余：在具备多路径网络时启用 多路径传输 提升可靠性与有效带宽。
四 Docker 与 Kubernetes 场景实践
- Docker Overlay 快速要点：
- 初始化 Swarm 后创建 overlay 网络：
docker network create -d overlay my_overlay；跨主机容器加入同一网络即可互通。
- 非 Swarm 模式可借助 Consul/Etcd/ZooKeeper 作为 KV 后端，配置 Docker daemon 的 –cluster-store 与 –cluster-advertise 参数完成注册与发现。
- Kubernetes 常见做法：
- 使用 flannel 等 Overlay 插件：
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml，部署后核验节点与 Pod 网络状态。
- 通用建议：在集群规模扩大时，优先评估 CNI 插件 的数据面性能与可观测性，必要时切换或组合方案（如将部分流量旁路到 hostNetwork 或 underlay）。
五 验证与持续监控
- 基准测试：使用 ping / traceroute 验证时延与路径；用 iperf3 测试吞吐与抖动，作为优化前后对比基准。
- 运行时观测：结合 Prometheus + Grafana 监控 P95/P99 延迟、丢包率、重传率、带宽 与 conntrack 使用率 等关键指标，持续迭代参数。
- 变更风险控制：内核与网络参数调整前务必 备份 与 灰度验证，在窗口期观察稳定性与性能收益。