CentOS backlog监控技巧

CentOS backlog监控技巧

一 核心概念与关键指标

• backlog通常指监听套接字的已完成连接队列（accept queue）长度，即服务端已完成三次握手、等待应用调用accept()取走的连接数。内核全局上限由net.core.somaxconn控制；全连接队列的实际长度还受应用调用listen(fd, backlog)时传入的参数限制，且不能超过somaxconn。半开连接（尚未完成握手）由net.ipv4.tcp_max_syn_backlog等参数影响。监控时建议同时关注：队列是否接近上限、是否存在SYN丢弃/重传、应用accept速率是否匹配新连接到达速率。

二 快速排查与实时监控命令

• 查看监听套接字与队列使用情况
  • ss（推荐）：ss -lnt | egrep ‘^LISTEN’；关注输出中的Recv-Q（当前队列中的连接数）与Send-Q（该套接字的最大队列长度，即应用传入的backlog上限）。
  • netstat：netstat -an | grep LISTEN（辅助查看监听状态）。
• 查看内核与协议栈关键阈值
  • 全局队列上限：cat /proc/sys/net/core/somaxconn
  • SYN队列上限：cat /proc/sys/net/ipv4/tcp_max_syn_backlog
• 抓包定位握手与丢弃
  • tcpdump -i eth0 -nn ‘tcp port 80’（按需替换接口与端口），观察SYN、SYN-ACK、ACK时序与重传，辅助判断半开连接压力与队列溢出迹象。
• 日志与事件线索
  • 系统日志：tail -f /var/log/messages 或 /var/log/syslog；服务日志中查找connection refused/timeout等告警，配合ss/Recv-Q判断是否队列瓶颈。
• 应用层确认
  • lsof -iTCP -sTCP:LISTEN 核对具体进程与监听端口；必要时结合应用配置确认其**listen(backlog)**设置。

三 可视化与阈值建议

• 推荐以ss -lnt的Recv-Q/Send-Q为核心指标，配合SYN重传率与accept队列溢出日志构建监控面板。
• 告警阈值可参考下表（需结合实际业务与压测校准）：

• 采集示例（Prometheus Node Exporter + 文本收集器）
  • 定时执行：ss -lnt | awk ‘$1==“LISTEN”{printf “listen_queue{port="%s",proto="%s"} %s\n”, $4, $1, $2}’ > /var/lib/node_exporter/textfile_collector/listen_queue.prom
  • 指标含义：label含port/proto；value为Recv-Q（当前队列长度）。阈值可在告警规则中设置为例如：listen_queue / Send-Q > 0.7

四 常见瓶颈与优化要点

• 内核参数（/etc/sysctl.conf，执行sysctl -p生效）
  • net.core.somaxconn = 65535（提升全连接队列上限）
  • net.ipv4.tcp_max_syn_backlog = 65535（提升半开连接队列）
  • net.ipv4.tcp_tw_reuse = 1；net.ipv4.tcp_fin_timeout = 30（加速连接回收，缓解端口与状态压力）
  • 注意：队列上限提升需与应用listen(backlog)一致，且受文件描述符限制约束（ulimit -n）。
• 应用配置
  • Nginx：listen 80 backlog=65535;
  • Apache：ListenBacklog 65535
• 架构层面
  • 引入负载均衡与多实例水平扩展，降低单实例队列压力。

五 排错清单

• 发现Recv-Q长期接近Send-Q：优先检查应用**accept()**是否阻塞、工作进程/线程是否不足、是否存在慢查询/阻塞IO。
• 新连接被拒或超时：同时观察SYN重传与系统日志，若SYN积压明显，考虑提升tcp_max_syn_backlog并检查是否存在半开连接攻击或资源饱和。
• 队列上限不足：同步调大somaxconn与应用listen(backlog)，并确认ulimit -n足够；必要时扩容实例或引入连接卸载/限速。