Linux环境下Kafka网络参数优化策略
优化TCP缓冲区与连接队列，提升网络吞吐与连接处理能力。编辑/etc/sysctl.conf文件，添加或修改以下参数：
net.core.rmem_max=16777216：接收缓冲区最大值（字节）；net.core.wmem_max=16777216：发送缓冲区最大值（字节）；net.ipv4.tcp_rmem=4096 87380 16777216：TCP接收缓冲区动态调整范围（最小/默认/最大）；net.ipv4.tcp_wmem=4096 65536 16777216：TCP发送缓冲区动态调整范围；net.ipv4.tcp_max_syn_backlog=8192：SYN队列长度（应对高并发连接请求）；net.ipv4.tcp_fastopen=3：启用TCP快速打开（减少握手延迟）。sysctl -p。Kafka处理大量并发连接需更高的文件描述符上限。编辑/etc/security/limits.conf，添加：
* soft nofile 65536（软限制）、* hard nofile 65536（硬限制）；
同时修改/etc/pam.d/common-session和/etc/pam.d/common-session-noninteractive，添加session required pam_limits.so，确保限制生效。
num.network.threads：处理网络请求的线程数，建议设置为CPU核心数的1~2倍（如4核CPU设为4~8），提升并发处理能力；num.io.threads：处理磁盘IO的线程数，建议设置为磁盘数量的1~2倍（如使用SSD且有多个磁盘，设为4~8），避免IO成为瓶颈。socket.send.buffer.bytes：发送缓冲区大小，默认102400字节（100KB），建议调整为1MB（1048576字节），提升发送吞吐；socket.receive.buffer.bytes：接收缓冲区大小，默认同上，建议调整为1MB，提升接收能力；socket.request.max.bytes：单个socket请求最大大小，默认100MB，建议调整为100~200MB（需与生产者max.request.size匹配），避免大请求被拒绝。queued.max.requests：网络线程排队等待处理的请求数，默认500，建议调整为1000~2000（高并发场景），避免请求丢失；connections.max.idle.ms：空闲连接的超时时间，默认9分钟，建议缩短至3~5分钟，释放闲置连接资源。buffer.memory：生产者缓冲池大小，默认32MB，建议调整为64~128MB（内存充足时），提升批量发送能力；batch.size：批量发送的字节数，默认16KB，建议调整为32~64KB（平衡吞吐与延迟）；linger.ms：批量发送前的等待时间，默认0ms，建议调整为5~10ms（减少小批次发送次数）；compression.type：消息压缩算法，建议使用snappy（低延迟）或lz4（高压缩比），减少网络传输量；max.request.size：单次请求最大消息大小，默认1MB，建议调整为5~10MB（需与Brokersocket.request.max.bytes匹配）。fetch.min.bytes：消费者拉取的最小数据量，默认1字节，建议调整为1KB~1MB（减少拉取次数）；fetch.max.wait.ms：未达到fetch.min.bytes时的最大等待时间，默认500ms，建议调整为1~5s（平衡延迟与吞吐）；max.partition.fetch.bytes：每个分区拉取的最大字节数，默认1MB，建议调整为5~10MB（与Brokermessage.max.bytes同步）。listeners：指定Broker监听的地址和端口，如PLAINTEXT://your.server.ip:9092（替换为实际IP）；advertised.listeners：客户端连接时使用的地址，如PLAINTEXT://your.public.ip:9092（确保客户端能访问），避免网络隔离问题。通过listener.security.protocol.map配置内外网协议映射（如INTERNAL:PLAINTEXT,EXTERNAL:SSL），结合advertised.listeners区分内外网地址，实现流量隔离与资源优化。
kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh工具进行压力测试，验证优化效果；num.io.threads或batch.size），避免一次性修改过多参数导致系统不稳定。