Kafka在CentOS上的网络调优策略
net.core.rmem_default（默认接收缓冲区大小，建议设置为1MB以上）、net.core.rmem_max（最大接收缓冲区大小，建议设置为4MB以上）、net.core.wmem_default（默认发送缓冲区大小，建议设置为1MB以上）、net.core.wmem_max（最大发送缓冲区大小，建议设置为4MB以上）、net.ipv4.tcp_wmem（TCP发送缓冲区动态调整范围，建议设置为“4096 16384 4194304”）、net.ipv4.tcp_rmem（TCP接收缓冲区动态调整范围，建议设置为“4096 87380 4194304”）、net.ipv4.tcp_no_delay（禁用Nagle算法，设置为1以减少小包延迟）、net.ipv4.tcp_keepalive_time（TCP keepalive时间，建议设置为300秒以及时回收无效连接）。vm.swappiness=1（严格限制系统使用swap分区，避免磁盘I/O拖慢网络处理）、vm.dirty_background_ratio=5（脏页占比达到5%时后台刷新）、vm.dirty_ratio=10（脏页占比达到10%时强制刷新），平衡内存与磁盘I/O性能。vm.max_map_count=262144（默认值通常较小，增加后可提升Kafka处理大量内存映射文件的能力，避免“Too many open files”错误）。/etc/security/limits.conf，添加* soft nofile 65535、* hard nofile 65535，避免Kafka因文件描述符不足无法接受新连接。num.network.threads（处理网络请求的线程数，建议为CPU核心数+1，如4核CPU设置为5）；num.io.threads（处理磁盘I/O的线程数，建议为CPU核心数的2倍，如4核CPU设置为8），确保网络请求与磁盘写入并行处理。socket.send.buffer.bytes（发送缓冲区大小，建议100KB~1MB）、socket.receive.buffer.bytes（接收缓冲区大小，建议100KB~1MB）、socket.request.max.bytes（单次请求最大字节数，建议100MB，避免过大请求导致内存溢出）。listeners指定Broker监听的地址与端口（如PLAINTEXT://0.0.0.0:9092）；advertised.listeners指定客户端连接的地址（如PLAINTEXT://your_server_ip:9092），确保客户端能正确访问Broker。compression.type（压缩算法，可选gzip、snappy、lz4，其中lz4性能最佳），减少网络传输的数据量（压缩率通常可达30%~70%），提升吞吐量。batch.size（批量发送的字节数，建议16KB~1MB，增大可减少网络请求次数但增加延迟）、linger.ms（等待批量发送的时间，建议5~100ms，在延迟与吞吐量间权衡），通过批量处理提升网络利用率。NetworkProcessorAvgIdlePercent反映网络线程繁忙程度、BytesInPerSec/BytesOutPerSec反映网络吞吐量）或第三方工具（如Prometheus+Grafana），监控网络性能。kafka-producer-perf-test、kafka-consumer-perf-test）模拟高负载场景，根据监控数据调整上述参数（如增加num.network.threads应对高并发请求、调整TCP缓冲区大小适应大流量）。