Ubuntu 系统中 backlog 问题的定位与解决
一、先明确 backlog 的类型
- 内核网络队列：包括监听套接字的全连接队列（受 net.core.somaxconn 与应用 listen(backlog) 限制）与 半连接队列（受 net.ipv4.tcp_max_syn_backlog 限制），以及网卡层的 netdev_max_backlog。当队列满时会出现新连接被丢弃或超时。
- 应用/任务积压：如 systemd 服务队列、日志写入、消息队列、批处理作业等，表现为任务排队、延迟增大。
- 网络接口队列：网卡 RX/TX 队列与驱动中断处理瓶颈，导致数据包在网卡或内核中排队。
二、快速排查命令
- 查看监听套接字与队列使用情况：ss -lntu | egrep ‘(:80|:443)’
- 查看半开连接（SYN 队列）与重传：ss -s；必要时抓包确认 SYN 是否被丢弃：sudo tcpdump -ni any ‘tcp[tcpflags] & (tcp-syn|tcp-rst) != 0 and port 80’
- 查看系统日志是否有队列溢出迹象：sudo journalctl -u nginx.service -b；dmesg | egrep ‘drop|overrun|backlog’
- 查看网卡队列与驱动：ethtool -l ；ethtool -g ；ip -s link show
- 监控实时流量与负载：iftop、nload、sar -n DEV 1、top/htop
三、网络队列类 backlog 的解决
- 调整内核网络参数（持久化到 /etc/sysctl.d/99-sysctl.conf 后执行 sysctl -p）
- 合理增大全连接与半连接队列：
- net.core.somaxconn = 65535（上限受内核 unsigned short 限制，超过 65535 会被截断或报错）
- net.ipv4.tcp_max_syn_backlog = 65535
- 加速回收连接、缓解队列压力（按业务可接受度调整）：
- net.ipv4.tcp_fin_timeout = 10
- net.ipv4.tcp_tw_reuse = 1
- net.ipv4.tcp_tw_recycle = 0（在 NAT/负载均衡 场景不建议开启）
- 提升网卡层与软中断处理能力：
- net.core.netdev_max_backlog = 16384
- net.core.netdev_budget = 600
- net.core.netdev_budget_usecs = 4000
- 调整网卡队列与驱动
- 查看并设置多队列与环形缓冲：ethtool -l ；ethtool -G rx 2048 tx 1024
- 如为虚拟机，确保网卡与宿主机队列匹配（如 vhost 多队列配置）
- 应用层配合
- 将服务 listen(backlog) 提升到与 net.core.somaxconn 匹配的值（常见为 4096–65535）
- 优化工作进程/线程数与 accept 并发，避免应用成为瓶颈
- 临时“清空”思路（会中断现有连接，仅用于应急）
- 重启网络服务：sudo systemctl restart networking（生产慎用）
- 清空防火墙规则（会破坏现有策略）：sudo iptables -F；sudo iptables -X
- 更稳妥的做法是扩容队列与优化应用，而非频繁清空队列
四、应用或任务积压的解决
- 查看与清理任务
- at 任务：atq 查看；atrm 删除指定任务
- 调整优先级：nice -n <优先级> <命令>；renice <优先级> -p
- 资源与调度优化
- 增加 CPU/内存/磁盘 I/O 资源或优化 SQL/代码/缓存
- 使用 systemd 服务切片与并发限制，优化定时任务（cron）节奏
- 监控与分流
- 使用 top/htop、vmstat、systemd-analyze blame 找出瓶颈
- 引入 消息队列/缓存层 削峰填谷，必要时做 负载均衡 与水平扩展
五、验证与回退建议
- 验证
- 观察队列与重传：ss -s；ss -lntu | egrep ‘(:80|:443)’；必要时 tcpdump 复核
- 观察网卡与软中断：ip -s link；ethtool -S ；sar -n DEV 1
- 观察应用指标：连接建立成功率、握手时延、5xx 错误率、P95/P99 延迟
- 回退
- 保留变更前的 sysctl 快照；参数异常时先恢复到上一版配置并逐步调优
- 任何“清空队列/重启网络”的操作务必在维护窗口进行，并做好回滚预案与监控告警
注意：上述参数与操作涉及生产系统稳定性与可用性，请在测试环境验证并评估业务影响后再上线；对关键业务务必做好备份与回滚方案。