CentOS 上优化 Kubernetes 网络延迟的实操清单
一 基础环境与内核先行
- 升级内核与系统组件：在 CentOS 7.x 上，默认 3.10 内核与现代 K8s（如 1.28+）在 IPVS/eBPF/Overlay 等方面存在明显性能与兼容性问题。建议启用 ELRepo 升级至 5.4 LTS 或更高版本，或直接迁移到 Rocky Linux 8/9、AlmaLinux 8/9、Ubuntu 22.04+ 等提供更新内核与更好容器支持的系统。升级后重启并验证：uname -r。该步骤往往能一次性解决“网络慢如蜗牛、偶发抖动”等顽疾。
- 基础网络能力：确保节点具备 10Gbps+ 网卡、启用 IP 转发、合理设置 最大接收/发送缓冲区，并优化 SYN 队列 与 TIME_WAIT 管理，以降低转发路径上的排队与回收开销。
- 虚拟化/云环境：在 VMware/VirtualBox/KVM 等虚拟化环境中优先使用 virtio-net 等高性能网卡驱动，避免半虚拟化或老旧驱动带来的额外延迟。
二 内核网络与 kube-proxy 调优
- 启用与校准 IPVS：在 高并发 场景下优先使用 kube-proxy 的 IPVS 模式，并校准关键参数（如 net.ipv4.vs/conn_reuse_mode 等），以减少端口冲突、提升连接复用率；旧内核（如 3.10）常缺失这些优化，导致 IPVS 性能退化。
- 连接跟踪优化：适度提升 conntrack 容量与优化 TTL，降低 nf_conntrack 在高并发短连接场景下的瓶颈与丢包概率。
- 软中断与 RPS/RFS：针对 ping/小包/突发流量 引发的延迟抖动，结合中断亲和与 RPS/RFS 将网络软中断更均匀地分摊到多核，减少单核过载导致的时延尖峰。
三 CNI 与 Service 负载均衡优化
- 选择高性能数据面：优先采用 Cilium + eBPF，以 O(1) 内核态服务转发替代 iptables O(n) 规则遍历，显著降低 Service 转发延迟与 CPU 开销。
- 减少封装与跳数：在条件允许时，优先 Native-Routed 或关闭 Overlay（VXLAN/IPIP）；若使用 Overlay，务必校准 MTU，避免分片（例如 Jumbo Frame 9001 环境下，VXLAN 通常将 Pod MTU 设为约 8951）。
- 加速南北向流量：在 LoadBalancer/Ingress 场景启用 BPF Host Routing 与 DSR（Direct Server Return），让回程流量直连客户端，降低回程路径时延。
- 减少跨节点绕行：对 NodePort/Ingress 设置 externalTrafficPolicy: Local，尽量让流量直达本节点后端，减少跨节点回环。
四 关键 sysctl 与 TCP 栈优化
- 增大套接字缓冲：提升 net.core.rmem_max / wmem_max 与 net.ipv4.tcp_rmem / wmem，允许更大的发送/接收窗口，改善高带宽时延乘积（BDP）链路下的吞吐与延迟稳定性。
- 优化连接行为：适度调大 net.ipv4.tcp_max_syn_backlog，并根据负载调优 net.ipv4.tcp_max_tw_buckets 与 tcp_slow_start_after_idle，减少握手排队与慢启动抖动。
- 建议通过 InitContainer 在目标 Pod 内应用这些调优，避免节点级全局配置影响其他业务。
五 快速验证与落地顺序
- 基线测试：在节点间与跨节点 Pod 间执行 ping / iperf3 / sockperf，记录 RTT/P95/P99/带宽，明确问题边界（同节点、跨节点、南北向）。
- 先内核后网络：优先完成 内核升级 与 驱动/基础 sysctl 调整，复测验证是否解决“抖动/低带宽”等根因。
- 切换数据面：在测试环境验证 Cilium + eBPF 或优化现有 Calico/Flannel 的 MTU/模式，对比延迟与 CPU 占用。
- 校准 Service 路径：启用 Local 策略、必要时启用 DSR，复核南北向延迟与回程路径。
- 回归与观测：上线后持续观测 P50/P95/P99 与服务 SLO，结合 Prometheus/Grafana 与 Hubble（若用 Cilium）做网络可视化与回溯。