Linux backlog监控方法是什么

Linux backlog 监控方法与告警实践

一 关键概念与内核参数

• backlog 在 Linux 中主要指监听套接字的**未完成连接队列（accept 队列）**与内核的 SYN 队列。常用内核参数与含义如下：
  • net.core.somaxconn：监听套接字 backlog 的上限值（应用 listen(…, N) 中的 N 会被截断到此上限）。
  • net.ipv4.tcp_max_syn_backlog：全连接前 SYN 队列的最大长度。
  • net.core.netdev_max_backlog：网络设备层接收队列的最大长度（网络层积压，非套接字 backlog）。
  • 应用层实际生效的队列长度受应用设置与 somaxconn 共同约束。建议先确认参数，再谈监控与调优。

二 命令行快速查看

• 查看监听套接字与队列信息
  • 列出所有监听套接字：ss -lnt；如需包含进程信息：ss -lntp。
  • 查看整体套接字统计摘要：ss -s；或按协议统计：netstat -s。两者输出中均可能出现与 backlog 相关的条目，用于快速判断是否出现异常堆积。
• 查看内核 backlog 相关参数
  • 直接读取 sysctl：sysctl net.core.somaxconn；sysctl net.ipv4.tcp_max_syn_backlog；sysctl net.core.netdev_max_backlog。
  • 或查看 proc：cat /proc/sys/net/core/somaxconn；cat /proc/sys/net/ipv4/tcp_max_syn_backlog；cat /proc/sys/net/core/netdev_max_backlog。
• 抓包定位连接建立问题（间接判断队列瓶颈）
  • 针对业务端口抓包：tcpdump -i eth0 port 80，观察 SYN、SYN-ACK、ACK 的比例与重传，配合 ss/netstat 判断是队列满还是应用 accept 慢。

三 实时监控与阈值告警

• 脚本轮询 + 阈值告警（轻量可用）
  • 思路：用 ss/netstat 采集队列/连接指标，计算增长速率或占用比例，超过阈值时通过邮件、企业微信、钉钉或 webhook 通知。
  • 建议采集项：
    • 全连接队列近似：Recv-Q（在 ss -lntp 的 LISTEN 行）相对 somaxconn 的占比。
    • 半连接队列压力：SYN 重传、netstat -s 中相关计数器的增长速率。
  • 将脚本加入 cron 或系统服务，记录历史，便于回溯。
• Prometheus + Exporter + Alertmanager（生产推荐）
  • 采集：使用 node_exporter 的 textfile 收集自定义指标（如应用暴露的队列长度/accept 时延），或在应用内暴露 /metrics。
  • 规则示例（概念）：
    • 队列占比过高：sum(rate(app_listener_backlog_used[1m])) / sum(app_listener_backlog_max) > 0.7
    • 半连接异常：rate(tcp_syn_retrans_total[1m]) > 0.1
  • 告警分组、去重、路由与通知由 Alertmanager 完成，便于 7x24 值守。

四 可视化与辅助工具

• 系统性能全景：top/htop、vmstat、iostat、sar、dstat、glances，用于判断 CPU、内存、I/O 是否成为队列积压的根因。
• 网络层观察：iftop、nload、nethogs、tcpdump，用于定位带宽占用、异常主机或连接风暴，辅助验证是否队列瓶颈。

五 排障与优化要点

• 先判队列类型：SYN 洪水或内核 SYN 队列满，优先看 tcp_max_syn_backlog 与半开连接；accept 慢或应用处理不及时，优先看 somaxconn 与应用 accept 速率。
• 联动优化：
  • 适度提升 net.core.somaxconn（需评估内存与调度开销），并确保应用 listen(…, N) 与之匹配。
  • 保障应用及时 accept，避免单线程 accept 成为瓶颈；必要时增加 worker 进程/线程或采用异步 I/O。
  • 若网络层也出现积压，检查 net.core.netdev_max_backlog 与网卡/中断/驱动配置。
• 监控闭环：为“队列占比、SYN 重传率、accept 时延”设置多级阈值与持续时长，避免短时抖动误报，同时保留历史数据用于容量规划。