FetchLinux：Linux系统中的网络优化策略

FetchLinux网络优化策略

一 基线评估与监控

• 明确目标：优先优化延迟、吞吐量、P99/P95 时延、丢包率与连接并发，结合业务特征（短连接/长连接、文件传输/实时流、是否本机回环）。
• 建立基线：使用iperf3做吞吐与抖动测试，配合netperf评估小包/时延，用tcpdump/wireshark定位重传、乱序、零窗口等问题，形成“调优前后”对比数据。
• 持续监控：关注丢包/重传/RTT、软中断占用、队列溢出、应用线程阻塞等指标，便于验证优化成效与回滚。

二 网卡与驱动层优化

• 启用硬件卸载：优先开启网卡checksum（rx/tx）、scatter-gather、TSO/UFO、GSO、GRO/LRO（按业务选择，转发设备常建议关闭 GSO 以降低时延），可用ethtool -k查看与ethtool -K开启。
• 调整 Ring Buffer：提升突发流量下的抗丢包能力，常见做法是将rx/tx设置为2048～4096或更高；部分Intel驱动场景建议tx ≈ 2 × rx。示例：ethtool -G eth0 rx 4096 tx 4096。
• 多队列与中断亲和：多队列网卡将不同队列的中断绑定到不同CPU 核心，提升并发处理；通过/proc/interrupts观察分布并用smp_affinity设置亲和性，避免单核软中断热点。

三 内核网络栈与传输层参数

• 典型 sysctl 调优（示例值，按带宽/时延/并发实测微调）：
  • 增大套接字缓冲与自动调优范围：
    • net.core.rmem_max = 16777216
    • net.core.wmem_max = 16777216
    • net.ipv4.tcp_rmem = 4096 87380 16777216
    • net.ipv4.tcp_wmem = 4096 65536 16777216
  • 提升并发与队列：
    • net.core.somaxconn = 65535
    • net.core.netdev_max_backlog = 5000
  • 加速回收与复用：
    • net.ipv4.tcp_tw_reuse = 1
    • net.ipv4.tcp_fin_timeout = 15
  • 启用窗口缩放与选择性确认：
    • net.ipv4.tcp_window_scaling = 1
    • net.ipv4.tcp_sack = 1
  • 拥塞控制：依据链路选择bbr/cubic，如高带宽时延积链路优先bbr：net.ipv4.tcp_congestion_control = bbr
• 持久化：写入/etc/sysctl.conf后执行sysctl -p生效。

四 高可用与带宽聚合

• 链路聚合（Bonding）：将多物理口聚合为bond0提升带宽与冗余，常用模式如mode=0（balance-rr，负载均衡）、mode=1（active-backup，主备）；示例：modprobe bonding mode=0 miimon=100，并在ifcfg-bond0与从口配置中指定MASTER=bond0、SLAVE=yes。
• 队列与 RSS：结合多队列网卡，按需调整rx/tx 队列数（ethtool -L），让更多 CPU 参与收包处理，降低单核瓶颈。

五 应用层与内核旁路策略

• 减少数据拷贝与系统调用：静态文件传输优先用sendfile（零拷贝），大文件随机访问可用mmap降低拷贝次数；配合网卡Scatter-Gather DMA提升吞吐。
• 高效 I/O 模型：服务端使用epoll等事件驱动模型，避免大量进程/线程阻塞在recvfrom等调用上，减少上下文切换与缓存失效。
• 本机回环优化：大量本机网络 IO可考虑eBPF sockmap/sk redirect绕过部分协议栈路径，降低 CPU 与时延开销。
• 传输协议演进：在合适场景引入MPTCP（多路径）、QUIC（0-RTT、减少队头阻塞）或SCTP（多宿主、消息边界），提升链路利用率与弱网体验。