Linux dropped工具推荐

Linux dropped 工具推荐与定位思路

定位思路与分层

• 先用接口层统计确认是否存在丢包，再区分是硬件/驱动层、内核协议栈，还是应用/策略导致的丢弃。
• 常用分层与工具对应：
  • 接口层：丢包计数、错误计数 → ip -s link、ethtool -S
  • 内核协议栈：丢包调用点 → dropwatch、perf record -e skb:kfree_skb、eBPF/BCC tcpdrop、SystemTap
  • 策略与服务：防火墙/限速/队列/驱动 → iptables/firewalld、tc、驱动队列、服务日志
  • 抓包验证：端到端是否真的丢包 → tcpdump/Wireshark
  • 历史与趋势：是否有周期性/持续性 → sar -n dev、vnstat 等

快速排查命令清单

• 接口层计数（是否有丢包）
  • 查看接口收发与丢弃：ip -s link show
  • 查看网卡硬件/驱动统计：ethtool -S （关注如 rx_dropped、tx_dropped 等字段）
• 内核日志与服务日志（是否有内核/服务侧提示）
  • 内核丢包线索：dmesg | grep -i drop
  • 网络服务日志：journalctl -u NetworkManager
• 抓包验证（端到端是否丢包）
  • 实时抓包示例：tcpdump -i icmp -n；保存到文件：tcpdump -i icmp -n -w /tmp/icmp.pcap
• 历史与趋势（是否持续/周期性）
  • 接口历史统计：sar -n dev
  • 长期流量统计：vnstat
• 流量整形/限速（是否由策略引入丢包）
  • 查看队列：tc qdisc show
  • 模拟丢包（测试用）：tc qdisc add dev root netem loss 1%
    以上命令覆盖“是否有丢包 → 在哪一层 → 为什么”的最快路径，适合先快速定位再深入根因。

内核丢包定位工具

• dropwatch：按内核符号聚合丢包位置，直观看到“在何处”被丢弃
  • 示例：dropwatch -l kas（按 kallsyms 解析符号）；交互界面 start/stop 观察热点位置
• perf + skb:kfree_skb：用内核跟踪点采样丢包栈
  • 示例：perf record -g -a -e skb:kfree_skb；分析：perf script
• eBPF/BCC tcpdrop：跟踪被丢弃的 TCP 连接，便于定位应用层触发点
  • 示例：/usr/share/bcc/tools/tcpdrop（不同发行版路径可能不同）
• SystemTap：脚本化统计 kfree_skb 位置
  • 示例：/usr/share/doc/systemtap-*/examples/network/dropwatch.stp（按秒汇总丢包位置）
    这些工具能回答“丢包发生在内核的哪个函数/路径”，是从“接口计数异常”走向“根因定位”的关键一步。

监控与带宽工具（辅助判断拥塞与策略影响）

• 实时带宽与连接：
  • iftop（按连接带宽）、nload（按接口总带宽）、nethogs（按进程带宽）
• 历史与综合：
  • vnstat（长期统计）、sar -n dev（接口历史/错误）、iptraf（控制台多维度流量）
• 队列与限速（策略验证/复现）：
  • tc qdisc show（查看队列/整形器）、tc qdisc add … netem loss 1%（模拟丢包）
    这些工具不直接告诉你“为什么丢包”，但能快速判断是否存在拥塞、策略限速或异常进程占用，从而辅助验证内核定位结论。

常见根因与处理要点

• 队列/缓冲区满：增大接收缓冲或优化队列（如 net.core.rmem_max 等），并结合 tc 队列策略验证
• 驱动/硬件：用 ethtool -S 观察 rx_dropped/tx_dropped，检查驱动版本、固件与物理链路
• 防火墙/策略误丢：审计 iptables/firewalld 规则，必要时临时停用验证
• 中断与多核：将网卡中断绑定到多核，减轻单核瓶颈（如设置 /proc/irq//smp_affinity）
• 应用/协议栈：结合 dropwatch/perf/tcpdrop 找到具体丢弃点，再对照业务日志与内核参数优化
  以上要点与工具形成闭环：先用“计数与日志”发现问题，再用“内核跟踪”定位位置，最后用“策略/驱动/参数”验证并修复。