如何在Ubuntu Overlay中进行性能测试

Ubuntu Overlay性能测试实操指南

一 明确测试范围与准备环境

• 概念澄清：Ubuntu 中的 Overlay 既可能指 OverlayFS 联合文件系统（容器镜像分层、chroot 场景），也可能指 容器 Overlay 网络（Docker Swarm/Kubernetes 跨主机通信）。两者测试方法与指标完全不同。
• 环境准备：
  • 安装工具：sudo apt-get update && sudo apt-get install -y fio iotop sysstat htop inotify-tools
  • 备份数据：性能压测会对存储产生写入，务必先备份重要数据。
  • 监控组件：使用 iostat、vmstat、dstat、sar、top/htop 观察 I/O、CPU、内存；用 inotifywait 观察文件系统事件；网络场景用 nethogs/Skydive 辅助。
  • 评估指标：关注 IOPS、吞吐量、延迟、I/O 等待、CPU 利用率、并发稳定性 等。

二 OverlayFS 文件系统性能测试步骤

• 挂载 OverlayFS（示例）：

  mkdir -p layer{1,2} merged workdir
  sudo mount -t overlay overlay \
    -o lowerdir=layer1:layer2,upperdir=merged,workdir=workdir \
    /mnt/overlayfs
  

• 快速基线（顺序写/读，直接 I/O）：

  time dd if=/dev/zero of=/mnt/overlayfs/testfile bs=1M count=1024 oflag=direct
  time dd if=/mnt/overlayfs/testfile of=/dev/null bs=1M iflag=direct
  

• 标准基准（FIO，覆盖随机/顺序、不同队列深度）：
  1. 配置文件 fio-overlayfs.conf（示例）

  [global]
  ioengine=libaio
  direct=1
  invalidate=1
  bs=4k
  size=1G
  numjobs=1
  runtime=60
  time_based
  filename=/mnt/overlayfs/testfile
  ramp_time=2
  write_bw_log=fio-log
  write_lat_log=fio-log
  
  [write-test]
  stonewall
  rw=randwrite
  
  [read-test]
  stonewall
  rw=randread
  

  2. 运行

  fio fio-overlayfs.conf
  

• 结果判读要点：
  • 关注 bw（吞吐）、iops、lat（延迟分位）；对比在底层裸目录/不同挂载选项下的差异，以确认 OverlayFS 带来的开销。
  • 建议在不同层数与不同 upper/work 布局下重复测试，观察一致性与回归。

三 容器 Overlay 网络性能测试步骤

• Docker Swarm 环境准备（两台主机示例）：
  • 开放端口：TCP 2377（集群管理）、TCP/UDP 7946（节点发现）、UDP 4789（VXLAN 数据面）。
  • 初始化与加入：

    # manager
    docker swarm init --advertise-addr <MANAGER_IP>
    # worker
    docker swarm join --token <TOKEN> <MANAGER_IP>:2377
    

• 创建 Overlay 网络并验证连通：

  docker network create --driver overlay my_overlay
  docker run -dit --name c1 --network my_overlay ubuntu:24.04
  docker run -dit --name c2 --network my_overlay ubuntu:24.04
  
  docker exec -it c1 ping -c 4 c2
  docker exec -it c1 ip addr
  docker exec -it c1 ip route
  

• 带宽与延迟测试（在容器内执行）：

  # 服务端
  iperf3 -s -p 5201
  # 客户端
  iperf3 -c <server_ip> -t 30 -P 4
  
  # 延迟（多次取中位数）
  ping -c 20 <peer_ip>
  

• 监控与排障：
  • 节点上用 docker stats 观察容器网络/CPU；用 nethogs 按进程观察带宽；必要时用 Skydive 查看 overlay 拓扑与流量。
  • 若跨主机不通，复核防火墙对 4789/7946 的规则与节点加入状态。

四 结果分析与优化建议

• 文件系统（OverlayFS）
  • 优化挂载选项：使用 noatime 减少元数据写入；在可回放/非关键场景尝试 datawriteback（权衡一致性风险）。
  • 精简层级：减少 lower 层数、合并相邻层，降低元数据与拷贝开销。
  • 缓存与存储：将频繁写目录放到 tmpfs（易失）或更快的 SSD/NVMe 上；必要时启用压缩减小 I/O。
  • 内核参数：视需要调优 fs.overlay-max-layers（谨慎变更）。
• 网络（Overlay 网络）
  • 控制并发连接数、调整 MTU 避免分片、确保物理网络与防火墙策略不成为瓶颈。
  • 在大规模/生产前，复现实测流量模式（短连接/长连接、PPS/带宽占比）。