CentOS 中 Backlog 的预防与处置
一 概念与常见成因
- 在 Linux/CentOS 中，backlog 通常指两类队列：一是网络层的 TCP 半连接队列（SYN 队列），二是传输层的 全连接队列（accept 队列）。当队列过小、应用 accept 不及时、或遭遇 SYN 洪泛 时，会出现连接超时、拒绝或性能骤降。判断要点：
- 全连接队列：用 ss -lnt | grep :端口 查看，其中 Recv-Q 为当前排队连接数，Send-Q 为队列上限；队列溢出可在 netstat -s | grep -i ‘full conn’ 中看到累计计数增长。
- 半连接队列：处于 SYN_RECV 状态的连接数可近似代表其长度；溢出可在 netstat -s | grep -i ‘syn recv’ 中观察增长趋势。
二 网络层 Backlog 预防与调优
- 调整内核网络参数（/etc/sysctl.conf 或 /etc/sysctl.d/*.conf，执行 sysctl -p 生效）：
- 增大全连接队列上限：提高 net.core.somaxconn（如 16384），并确保服务 listen(backlog) 不小于该值。
- 增大半连接队列上限：提高 net.ipv4.tcp_max_syn_backlog（如 16384）。
- 启用抗洪泛机制：设置 net.ipv4.tcp_syncookies=1（仅在队列满时启用，兼顾安全与性能）。
- 加速回收资源：适度降低 net.ipv4.tcp_retries2（如 5），减少异常连接占用时间。
- 扩展开源端口：设置 net.ipv4.ip_local_port_range=1024 65535，缓解短连接场景端口耗尽。
- 提升网卡接收队列：提高 net.core.netdev_max_backlog（如 32768），避免软中断丢包。
- 应用与架构层面：
- 提升应用 accept 并发（多进程/多线程/异步 I/O），确保能及时从全连接队列取走连接。
- 使用 连接池、限流/熔断、CDN/缓存 等手段降低突发并发对队列的冲击。
- 部署 负载均衡 与 横向扩容，分散单机队列压力。
三 审计子系统 backlog 预防（auditd）
- 现象与风险：内核日志出现 audit: backlog limit exceeded，常见于审计事件突发导致 audit 缓冲区 溢出，系统可能出现 卡死/SSH 无法登录 等。
- 处置与预防：
- 查看与调整缓冲：用 auditctl -s 查看当前设置；临时提高 auditctl -b 8192（示例值）。
- 永久生效：在 /etc/audit/audit.rules 顶部加入 -b 8192（或所需值），重启 auditd（如 systemctl restart auditd）。
- 容量估算：单个审计缓冲约 8970 字节；例如 10000 个缓冲约占用 87 MiB 内存，调整需结合总内存评估。
- 不建议直接禁用审计；若确需临时处置，可在可控窗口内停止/禁用，但应同步制定审计策略与容量规划。
四 监控与快速排查
- 全连接队列：用 ss -lnt | grep :端口 观察 Recv-Q/Send-Q；若 Recv-Q 长期接近 Send-Q 或 netstat -s | grep -i ‘full conn’ 计数持续增长，说明队列紧张或溢出。
- 半连接队列：用 ss -ant | awk ‘$4 ~ /:端口/ && $1 ~ /SYN_RECV/ {count++} END {print count}’ 近似统计；若 netstat -s | grep -i ‘syn recv’ 增长，说明半连接队列承压。
- 资源与连接：结合 top/htop、sar -n DEV、netstat -anp 排查 CPU、内存、网卡、连接数瓶颈；必要时用 iptables/nftables 做速率限制与黑白名单。
五 安全加固与风险提示
- 面对 SYN 洪泛/连接风暴：优先启用 tcp_syncookies=1、配合 tcp_max_syn_backlog 与 somaxconn 的合理上调，并使用 iptables/nftables 对来源做速率限制与清洗；架构侧引入 WAF/抗D/负载均衡 提升韧性。
- 参数变更应先在测试环境验证，逐步调优；过大的 somaxconn/backlog 会占用更多内存与调度开销，需与应用的 accept 能力 匹配。