Linux Dropped故障排查指南

一、Dropped故障的定义与常见原因

在Linux系统中，“dropped”主要指网络数据包被丢弃的现象，可能伴随“errors”“dropped”计数器增长（如netstat -i中的rx-drp/tx-drp列）。常见原因包括：

• 网络拥塞：数据包超过设备处理能力（如带宽不足、流量激增）；
• 资源限制：CPU、内存或网络缓冲区满（如net.core.netdev_max_backlog设置过小）；
• 配置错误：路由表错误、防火墙规则误拦截（如iptables的DROP规则）；
• 硬件/驱动问题：网卡故障、驱动程序bug（如dmesg中出现网卡错误日志）；
• 安全策略：为防御攻击（如DDoS）主动丢弃可疑数据包。

二、基础故障排查步骤

1. 检查网络丢包状态

使用以下命令快速查看本地网络接口的丢包情况：

• ip -s link show <接口名>（如eth0）：显示接收（RX）/发送（TX）方向的dropped包数量（重点关注dropped字段）；
• netstat -i：查看各网络接口的统计信息，rx-drp（接收丢弃）、tx-drp（发送丢弃）列不为0则表示有丢包；
• ifconfig <接口名>：传统命令，同样可查看dropped计数（部分系统需安装net-tools）。

2. 持续监测与分段定位

• ping命令：基础丢包测试，ping -c 10 <目标IP/域名>（-c指定次数），查看packet loss（丢包率）；若丢包，可加-i 0.2（每0.2秒发1包，需root）进行高频测试，暴露网络波动；
• traceroute/tracepath：定位丢包节点，traceroute <目标IP>（tracepath无需root），查看哪一跳延迟突增或无响应（如某跳后全部*），区分是本地网络、运营商线路还是目标服务器问题；
• mtr工具（推荐）：结合ping和traceroute，mtr -c 20 <目标IP>（-c指定探测次数），实时显示每一跳的丢包率（Loss%列），更直观定位问题节点。

3. 检查系统资源与负载

• top/htop：查看CPU、内存使用率，若负载过高（如CPU占用>80%），可能导致系统无法及时处理网络数据包；
• free -h：检查内存剩余量，内存不足会导致ring buffer（网卡缓冲区）溢出，引发丢包；
• df -h：查看磁盘空间，磁盘满可能导致日志无法写入，间接影响网络服务。

三、深入排查与解决方向

1. 防火墙与安全策略检查

• iptables：查看防火墙规则，iptables -L -v -n --line-numbers，检查是否有DROP规则误拦截正常流量（如针对特定端口或IP的DROP规则）；
• firewalld（CentOS/RHEL）：firewall-cmd --list-all，查看rich rules或port设置，确保必要端口（如80、443）开放；
• ufw（Ubuntu）：ufw status，检查防火墙状态及规则。

2. 网络配置与缓冲区优化

• 路由表检查：route -n（或ip route），确认默认网关、路由条目是否正确（如无默认网关或路由指向错误网段，会导致数据包无法转发）；
• 调整内核参数：修改/etc/sysctl.conf优化网络缓冲区，例如：

  net.core.netdev_max_backlog = 5000  # 增加网络设备接收队列长度
  net.core.rmem_max = 16777216        # 增加接收缓冲区最大值（16MB）
  net.core.wmem_max = 16777216        # 增加发送缓冲区最大值
  net.ipv4.tcp_keepalive_time = 600   # TCP保活时间（10分钟）
  

  修改后执行sysctl -p使配置生效。

3. 硬件与驱动排查

• dmesg命令：查看内核日志，dmesg | grep -i error，寻找网卡错误（如eth0: link down、CRC error），若有错误需更换网线或网卡；
• ethtool工具：检查网卡状态，ethtool <接口名>（如eth0），查看Speed（速率）、Duplex（双工模式）是否与交换机匹配（如均为1000Mb/s、Full），若不匹配需调整（ethtool -s eth0 speed 1000 duplex full）；
• 更新驱动：通过lspci -k | grep -A 3 -i ethernet查看网卡型号，前往厂商官网下载最新驱动并安装（如Intel网卡驱动可通过rpm或deb包安装）。

四、高级工具与持续优化

• tcpdump抓包分析：捕获网络数据包，tcpdump -i eth0 -w /tmp/dump.pcap（捕获eth0接口数据包并保存到/tmp/dump.pcap），使用Wireshark打开分析协议交互细节（如TCP重传、SYN超时等）；
• 监控工具部署：使用Zabbix、Prometheus+Grafana等工具实时监控网络丢包率、带宽使用率、系统负载，设置警报阈值（如丢包率>1%时触发警报），及时发现并解决问题；
• 负载均衡：对于高流量场景，使用Nginx、HAProxy等负载均衡器分散流量，避免单台服务器负载过高导致丢包。