Linux dropped怎么排查

Linux Dropped问题排查指南

“dropped”是Linux系统中常见的网络或系统故障指标，指数据包因各种原因未被正确处理而丢弃（如网络拥塞、资源不足、配置错误等）。以下是系统化的排查步骤，覆盖从基础到深入的全链路分析：

1. 基础状态检查：确认问题范围

• 网络连通性验证：使用ping <目标IP>检查与目标主机的连通性，若丢包率高（如ping输出中packet loss超过1%），需进一步排查网络链路或远程主机问题。
• 网卡状态检查：通过ip link show <网卡名>确认网卡是否处于UP状态；若为DOWN，需检查物理连接（如网线、光纤）或交换机端口配置。
• ARP表检查：使用arp -a查看本地ARP缓存，确认直连设备的MAC地址是否正确（若ARP表为空或错误，可能导致数据包无法正确转发）。

2. 查看系统/网卡统计信息：定位丢包方向

• 网卡丢包计数：使用ifconfig <网卡名>或ip -s link show <网卡名>查看RX dropped（接收丢包）、TX dropped（发送丢包）、RX errors（接收错误）等指标。重点关注：
  • RX dropped：数据包已进入网卡Ring Buffer但因系统原因（如内存不足）未拷贝到内存而丢弃；
  • RX overruns：数据包未到Ring Buffer就被丢弃（因CPU处理速度慢，无法及时处理中断）。
• 系统日志分析：通过journalctl -xe或/var/log/syslog查看是否有网络相关错误（如kernel: eth0: RX fifo overrun），定位具体故障原因。

3. 深入分析数据包流程：逐层排查

Linux网络栈的处理流程为物理层→驱动层→内核协议栈→应用层，需逐层检查：

• 物理层：检查网卡、网线、交换机等硬件设备是否正常（如使用smartctl -a /dev/sda检查硬盘健康，memtest86检查内存错误）；若为虚拟机，需确认虚拟网卡配置（如VMware的“虚拟网络编辑器”）。
• 驱动层：使用ethtool -i <网卡名>查看驱动版本，确认是否为最新（旧驱动可能存在bug）；使用ethtool -S <网卡名>查看驱动统计信息（如rx_fifo_errors、tx_carrier_errors），若驱动错误计数增长，需更新或回滚驱动。
• 内核协议栈：
  • 连接跟踪表溢出：Linux通过nf_conntrack跟踪连接状态，若表满会丢弃新连接。通过dmesg | grep nf_conntrack查看是否有“table full”提示；使用cat /proc/sys/net/netfilter/nf_conntrack_count（当前连接数）和cat /proc/sys/net/netfilter/nf_conntrack_max（最大连接数）对比，若count接近max，需调整参数（如sysctl -w net.netfilter.nf_conntrack_max=1048576、sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=3600缩短ESTABLISHED状态超时）。
  • Ring Buffer溢出：网卡Ring Buffer是内核与网卡之间的数据缓冲区，若生产速率大于消费速率会丢包。使用ethtool -g <网卡名>查看当前Ring Buffer大小（如RX: 1024），ethtool -S <网卡名>查看rx_fifo_errors（若增长说明溢出）；通过ethtool -G <网卡名> rx 4096 tx 4096增大Ring Buffer（需网卡支持）。
  • netdev_max_backlog溢出：内核从网卡收到包后，会放入netdev_max_backlog队列交由协议栈处理，若队列满会丢包。通过cat /proc/net/softnet_stat查看（每行代表一个CPU核，第二列是netdev_max_backlog溢出计数）；调整sysctl -w net.core.netdev_max_backlog=2000增大队列大小。

4. 防火墙与安全策略：排除规则拦截

• iptables/nftables规则：使用iptables -L -n -v或nft list ruleset查看防火墙规则，确认是否有DROP规则拦截了目标流量（如iptables -A INPUT -p tcp --dport 80 -j DROP会拦截80端口的TCP流量）。
• ufw/firewalld：若使用ufw（ufw status）或firewalld（firewall-cmd --list-all），检查是否开启了过于严格的策略（如默认拒绝所有入站流量）。

5. 系统资源与负载：确认资源瓶颈

• CPU使用率：使用top、htop查看CPU使用率，若%CPU过高（如超过80%），可能是内核处理数据包的速度跟不上接收速度（需优化内核参数或升级CPU）。
• 内存使用率：使用free -h查看内存使用情况，若available内存不足，系统会回收缓存，导致数据包无法及时拷贝（需增加内存或优化应用内存占用）。
• 磁盘空间：使用df -h查看磁盘空间，若根分区剩余空间不足（如小于10%），可能导致系统无法写入日志或缓存，间接影响网络处理（需清理磁盘）。

6. 抓包分析：精准定位问题

使用tcpdump或wireshark抓取网络数据包，分析协议交互细节：

• 基础抓包：sudo tcpdump -i <网卡名> -n（-i指定网卡，-n禁用域名解析），查看是否有大量ICMP Destination Unreachable（目标不可达）或TCP Retransmission（TCP重传）包（重传率高说明网络不稳定或丢包）。
• 过滤分析：使用过滤器缩小范围，如tcpdump -i eth0 'port 80 and host 192.168.1.100'（抓取80端口与192.168.1.100之间的流量），tcpdump -i eth0 'icmp'（抓取ICMP包）。

通过以上步骤，可以逐步定位Linux系统中“dropped”问题的根源（如硬件故障、驱动问题、内核参数配置不当、防火墙拦截等），并采取针对性措施解决。