如何测试Linux Overlay网络性能

Linux Overlay网络性能测试实操指南

一、测试目标与关键指标

• 吞吐与带宽：用iperf3与netperf测量TCP/UDP的最大吞吐、抖动与丢包，识别瓶颈位置（容器/主机/隧道/物理网络）。
• 时延与路径：用ping与traceroute/mtr验证RTT、路径一致性及异常跳数。
• 稳定性：长时压测（≥300秒）观察吞吐回落、错误包与重传。
• 资源与队列：关注CPU、软中断、容器网络I/O与隧道设备队列，避免主机侧成为瓶颈。
• 观测工具：ip/ethtool、ovs-vsctl（如使用OVS/VXLAN）、docker stats、iftop、nmon、tcpdump，以及Prometheus+Grafana做可视化与告警。

二、测试环境与拓扑

• 节点与网络：准备2–4台同规格主机（物理机或虚拟机），确保Underlay链路稳定；Overlay隧道（如VXLAN）跨主机互通。
• 地址与路由：为每台主机配置VTEP IP与Overlay网段；容器/虚机使用**/24–/16网段，保证路由可达**。
• MTU规划：Overlay封装引入额外头部（如VXLAN约50字节），建议将MTU设为1450–1500（物理1500时），并在两端与沿途设备统一；必要时测试不同MSS与MTU组合。
• 驱动与内核：优先使用veth+bridge或OVS；内核与驱动保持更新，避免已知转发性能问题。
• 监控就绪：提前部署ip/ethtool/ovs-vsctl、docker stats、iftop/nmon、tcpdump，并配置Prometheus+Grafana抓取主机与容器指标。

三、基线测试与Overlay测试步骤

• 基线（Underlay直连，无隧道）：
  1. 主机到主机：
     • TCP：iperf3 -c 10.0.0.2 -t 60 -P 4
     • UDP：iperf3 -c 10.0.0.2 -t 60 -u -b 0（或指定带宽）
     • 请求/应答：netperf -H 10.0.0.2 -t TCP_RR/HTTP
  2. 容器到容器（同主机/跨主机，直连网桥）：重复上述，验证容器网络栈与veth/网桥开销。
• Overlay测试（启用隧道，如VXLAN/NVGRE/Geneve）：
  1. 连通性：ping 与 traceroute/mtr 检查RTT与路径一致性。
  2. 吞吐：
     • TCP长连接/多流：iperf3 -c 10.1.0.2 -t 300 -P 8 -l 8K
     • UDP：iperf3 -c 10.1.0.2 -t 300 -u -b 0（或按业务设定带宽）
     • 请求/应答：netperf -H 10.1.0.2 -t TCP_RR/HTTP
  3. 并发与大小：调整并发流数(-P)、报文大小(-l/-m)、窗口/缓冲区，观察吞吐拐点与抖动。
  4. 长稳压测：≥300秒压测，记录平均/峰值吞吐、丢包/重传、CPU软中断与容器网络I/O。
  5. 变更验证：依次变更MTU/MSS、隧道封装、并发流数、容器数量，对比差异并回滚异常配置。

四、结果判读与瓶颈定位

• 吞吐不达预期：
  • 若基线正常而Overlay下降明显，优先检查MTU/MSS不匹配、封装开销与主机CPU/软中断；
  • 多流无提升时，排查隧道/网桥/物理端口的队列与速率限制；
  • 使用iftop/nmon与容器网络I/O定位主机侧或容器侧瓶颈。
• 时延异常：
  • 对比ping RTT与traceroute/mtr，定位异常跳点；
  • 检查封装/解封装路径与安全组/防火墙策略。
• 丢包与重传：
  • UDP压测关注丢包率与抖动；
  • TCP压测关注重传率与窗口变化，结合netperf结果判断瓶颈在发送/接收端还是链路。
• 观测与抓包：
  • 使用ip/ethtool查看接口状态/速率/丢包；
  • 使用ovs-vsctl show与tcpdump抓取隧道接口流量，验证封装正确性与异常报文。

五、自动化与持续监控

• 容器场景：
  • 用docker stats与cAdvisor采集容器CPU/内存/网络I/O；
  • 在Prometheus中抓取cAdvisor/节点Exporter指标，并在Grafana构建Overlay性能看板（吞吐、时延、丢包、CPU软中断、容器网络I/O）。
• OVS/VXLAN场景：
  • 用ovs-vsctl与Prometheus采集桥/端口/流表与接口统计，联动告警；
  • 结合iftop/nmon做实时流量与资源观测。