在 CentOS 上使用抓包与性能工具定位网络瓶颈
一、定位思路与分层检查
- 链路层与设备层：先看物理链路、交换机端口利用率与错误计数，再用抓包确认是否存在异常报文（如重传、错误帧）。
- 主机层：确认网卡、驱动、队列与内核缓冲是否成为限制，必要时增大 ring buffer 与 netdev backlog，并校准 MTU。
- 传输层与应用层：用抓包分析 TCP 重传、零窗口、P99 延迟、握手与慢启动等行为，定位是协议栈还是应用响应慢。
- 端到端带宽验证：用 iperf3 做吞吐对比（服务器↔客户端），区分是网络路径问题还是主机/应用问题。
二、快速排查命令清单
- 实时速率与接口统计
- 查看接口累计与速率：ip -s -h link show dev eth0
- 实时网速：nload eth0（需 EPEL：yum install -y epel-release && yum install -y nload）
- 多维度实时：dstat -tnf 1 10（需 yum install -y dstat）
- 历史/实时接口统计：sar -n DEV 1 10（需 yum install -y sysstat）
- 连接与进程维度
- 按连接速率：iftop -nN -i eth0（需 EPEL）
- 按进程带宽：nethogs -d 2 eth0（需 EPEL）
- 抓包与深度分析
- 抓包：tcpdump -i eth0 -w capture.pcap（必要时加 host/port 过滤）
- 在 Wireshark 中查看重传、RTT、窗口变化、SACK、零窗口等
- 端到端带宽
- iperf3 服务端：iperf3 -s -i 1
- iperf3 客户端：iperf3 -c 10.0.0.1 -t 30 -P 4（并发 4 流）
三、抓包定位瓶颈的标准流程
- 步骤 1 采集数据
- 在瓶颈路径附近抓包（如服务器本机、网关/核心交换镜像口）。服务器抓包可开启混杂模式：ip link set eth0 promisc on；远程镜像更客观（避免本机协议栈影响）。抓包示例：tcpdump -i eth0 -w cap.pcap -s 0（抓取全尺寸报文）。
- 步骤 2 识别带宽是否打满
- 用 sar/nload/iftop 观察接口是否长期接近物理上限；若接近上限，优先做 iperf3 验证端到端可用带宽，再决定扩容或限流。
- 步骤 3 查找传输层问题
- Wireshark 统计中关注：TCP 重传率、重复 ACK、零窗口事件、SACK/Fast Retransmit、P99 延迟、握手耗时。高重传/重复 ACK 常见于链路抖动、队列溢出或远端窗口小；零窗口常见于接收端处理不过来。
- 步骤 4 关联主机与应用
- 若重传与延迟集中在少数连接，用 ss -ti 或 lsof -i :端口 定位进程；结合应用日志判断是应用处理慢还是网络慢。
- 步骤 5 回溯到设备层
- 若本机抓包未见异常但链路利用率高，检查交换机端口错包/丢包计数、上游带宽与队列策略（QoS/限速/聚合）。
四、常见瓶颈与对应证据
| 瓶颈类型 |
典型现象 |
抓包/工具证据 |
处理建议 |
| 带宽打满 |
接口速率长期接近上限 |
sar/nload/iftop 接近物理带宽 |
扩容链路、做流量整形/限速、优化大流量任务时段 |
| 链路抖动/丢包 |
突发重传、重复 ACK |
Wireshark 重传/重复 ACK 高 |
排查物理介质、光模块、对端设备、链路质量 |
| 接收端处理慢 |
零窗口、P99 延迟高 |
Wireshark 零窗口、窗口长时间为 0 |
增大接收缓冲、优化应用消费速度、调大 socket 读缓冲 |
| 发送端队列溢出 |
发送窗口满、P95 延迟抖动 |
内核 netdev 丢包计数上升、抓包见队列满迹象 |
增大 ring buffer 与 netdev backlog、优化发送节奏 |
| 协议/应用问题 |
握手慢、慢启动、长连接泄漏 |
三次握手耗时、连接数暴涨、P99 高 |
调整 TCP 参数、启用长连接复用、修复应用慢点 |
| 路由/环路/异常流量 |
大量短包、TTL 异常、协议分布异常 |
抓包见同一包反复、TTL 递减异常、协议分布异常 |
修正路由、隔离异常主机、查杀蠕虫/攻击流量 |
五、提升抓包准确性与避免丢包
- 增大网卡 ring buffer：ethtool -G eth0 rx 2048 tx 1024（按网卡实际调整）
- 提升内核 netdev backlog：echo “net.core.netdev_max_backlog=16384” >> /etc/sysctl.d/99-sysctl.conf && sysctl -p
- 校准 MTU（在整条路径一致时启用巨帧）：ip link set dev eth0 mtu 9000
- 抓包完整性
- 尽量在镜像口抓包；本机抓包开启混杂模式：ip link set eth0 promisc on
- 使用足够大的 snaplen（-s 0 抓取全帧），必要时分时段短抓包避免文件过大
- 高负载时先缩短抓包时长，聚焦问题时段
- 合规与安全
- 抓包涉及敏感数据，务必取得授权，最小化采集范围，妥善保存与分析结果