Ubuntu backlog如何优化性能

Ubuntu backlog 性能优化指南

一 概念与瓶颈定位

• backlog 通常指两类队列：
  1. 监听套接字的全连接队列，由内核参数 net.core.somaxconn 限制；
  2. TCP 的半连接队列（SYN 队列），由 net.ipv4.tcp_max_syn_backlog 限制。
• 队列溢出常见现象：新连接被丢弃或超时、SYN 洪泛时服务无响应。定位命令示例：
  • 查看监听队列使用情况：ss -lnt | egrep ‘(:80|:443)’; 观察 Recv-Q 是否长期接近 Listen 的 backlog。
  • 查看半连接压力：netstat -s | egrep ‘syn.*received|accept.*queued’。
  • 观察丢包与重传：ip -s link、netstat -s | grep -i retrans。
  • 抓包确认握手是否完成：sudo tcpdump -ni any ‘tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn’。
• 注意：全连接队列的实际上限取 min(应用 listen(backlog), net.core.somaxconn)。调大内核或应用值前，先确认应用确实会调大其 listen 队列。

二 内核与 TCP 栈关键参数

• 建议将以下参数写入 /etc/sysctl.d/99-backlog.conf，执行 sysctl -p 生效（数值需结合业务与压测逐步放大）：
  • 队列容量与回收
    • net.core.somaxconn = 4096–65535（高并发服务建议更高，如 32768/65535）
    • net.ipv4.tcp_max_syn_backlog = 8192–65535（SYN 洪泛场景优先放大）
    • net.core.netdev_max_backlog = 16384–30000（网卡入队缓冲，突发流量场景放大）
    • net.ipv4.tcp_fin_timeout = 10–30（加速回收）
    • net.ipv4.tcp_tw_reuse = 1（允许复用 TIME_WAIT 套接字，NAT/负载均衡环境慎用）
    • net.ipv4.tcp_tw_recycle = 0（在 NAT/负载均衡或多主机时钟不同步时禁用，避免连接异常）
    • net.ipv4.tcp_max_tw_buckets = 2000000（仅在确认 TIME_WAIT 过多且复用无效时再考虑放大）
  • 连接建立与保活
    • net.ipv4.tcp_synack_retries = 2–3（减少半连接等待）
    • net.ipv4.tcp_retries2 = 5（减少已建立连接的无效重传）
    • net.ipv4.tcp_keepalive_time = 1800；net.ipv4.tcp_keepalive_intvl = 30；net.ipv4.tcp_keepalive_probes = 3
  • 窗口与缓冲（提升高 BDP/长肥管道与突发吞吐）
    • net.core.rmem_default / wmem_default = 256960
    • net.core.rmem_max / wmem_max = 513920
    • net.ipv4.tcp_rmem = 8760 256960 4088000
    • net.ipv4.tcp_wmem = 8760 256960 4088000
    • net.ipv4.tcp_mem = 131072 262144 524288（单位：内存页，约 4KB/页）
    • 启用扩展：net.ipv4.tcp_sack = 1；net.ipv4.tcp_timestamps = 1；net.ipv4.tcp_window_scaling = 1
  • 端口与内核同步
    • net.ipv4.ip_local_port_range = 1024 65000
    • net.ipv4.tcp_syncookies = 1（SYN 洪泛保护，作为兜底）
• 说明：上述为通用起点，生产环境需结合并发量、RTT、丢包率与 CPU/内存做基准测试后再定稿。

三 网卡与软中断优化

• 多队列与队列深度：
  • 查看队列：ethtool -l ens33；设置队列：ethtool -L ens33 combined 4–8（按 CPU 核数/队列数匹配）。
  • 调整环形缓冲：ethtool -G ens33 rx 2048 tx 1024（过大可能占用更多内存）。
• 卸载与特性：ethtool -K eth0 tso on gso on gro on（降低 CPU 软中断压力，需网卡/驱动支持）。
• RPS/RFS（在硬件队列不足或单队列网卡上提升 CPU 利用）：
  • 计算掩码：以 CPU 数为 N，掩码为 (1 << N) - 1；
  • 写入：echo f > /sys/class/net/eth0/queues/rx-0/rps_cpus（示例为 4 核）。
• 软中断预算（控制每次轮询处理的数据包数与时间片）：
  • net.core.netdev_budget = 600；net.core.netdev_budget_usecs = 4000（高 PPS 场景可适当放大，观察软中断 CPU 占用与延迟权衡）。
• 巨帧（仅在交换机与对端均支持时启用）：ip link set eth0 mtu 9000。

四 应用层 backlog 与服务配置

• 将应用监听队列与内核上限匹配，否则无法发挥效果：
  • Nginx：在 server 或 http 块中设置 listen 80 backlog 4096–16384；events { worker_connections 1024; use epoll; multi_accept on; }
  • Apache：ListenBacklog 4096–16384；结合 MPM 调优（如 prefork/worker/event 的 MaxRequestWorkers/ThreadsPerChild）。
  • 其它自研服务：确保 listen(…, backlog) ≥ 期望队列，且 accept 足够快（异步 I/O、多 worker、避免阻塞在 accept 线程）。
• 验证：ss -lntp | egrep ‘(:80|:443)’ 查看实际 Listen 队列与当前连接；压测工具（如 wrk/ab）对比提升前后握手成功率与 P95/P99 延迟。

五 监控 压测与风险控制

• 监控与告警：
  • 实时：ss -s、netstat -s、ip -s link、sar -n DEV/EDEV、/proc/interrupts；
  • 可视化：部署 netdata 或 Prometheus Node Exporter + Grafana 面板，关注 Recv-Q、SYN 接收/重传、软中断、丢包、CPU steal。
• 压测与基线：
  • 逐步放大并发与 RPS，记录 P50/P95/P99、握手失败率、SYN 重传率、CPU/内存/软中断；
  • 每次只变更一个变量，形成可回滚的变更单与回滚方案。
• 架构层面兜底：
  • 过载保护：限流/熔断（如 Nginx limit_req、应用层令牌桶）、连接速率限制（iptables/tc）；
  • 横向扩展：引入 HAProxy/Nginx/云LB 做连接分发，降低单机 backlog 压力；
  • 异步化与池化：应用侧使用异步框架、连接池、更快的 accept/握手路径。
• 风险提示：
  • 过大的 somaxconn/tcp_max_syn_backlog 会占用更多内存与 CPU；
  • tcp_tw_recycle 在 NAT/多主机环境可能导致连接异常，默认禁用；
  • 修改前备份配置，先在测试环境验证，分阶段上线。