Linux系统下提升Kafka吞吐量的综合策略
vm.dirty_ratio=20（脏页占比达到20%时触发刷盘）、vm.dirty_background_ratio=10（后台刷盘阈值设为10%）、vm.swappiness=0（禁用Swap以避免磁盘I/O瓶颈）。echo performance > /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor（禁用CPU节能模式），并通过numactl工具绑定Kafka进程到特定NUMA节点，减少跨节点内存访问延迟。net.core.rmem_max=2097152（接收缓冲区最大值）、net.core.wmem_max=2097152（发送缓冲区最大值）、net.ipv4.tcp_rmem="4096 87380 2097152"（TCP接收缓冲区动态调整）、net.ipv4.tcp_wmem="4096 65536 2097152"（TCP发送缓冲区动态调整）。num.network.threads（网络线程，默认3）设置为CPU核数的1.5-2倍（如12核设为18），用于处理客户端请求；num.io.threads（I/O线程，默认8）设置为SSD的16-32倍、HDD的8-12倍（如SSD设为32），用于处理磁盘读写和复制操作。监控kafka_network_processor_idle_percent（网络线程空闲率），若<20%则需增加线程数。log.segment.bytes，默认1GB）至512MB，减少索引文件数量（每个日志段对应一个索引文件），提升日志滚动和清理效率；关闭日志同步刷盘（log.flush.interval.messages=Long.MAX_VALUE、log.flush.interval.ms=Long.MAX_VALUE），依赖PageCache的异步写入提升吞吐（需确保数据可靠性，可通过副本机制补偿）。num.partitions），分区是Kafka并行处理的基础，分区数越多，消费者组的并发处理能力越强（建议分区数≥消费者数量）。同时，合理设置副本数（default.replication.factor，默认1），副本数越多，数据可靠性越高，但会增加复制开销（建议3副本，兼顾可靠性和性能）。compression.type，可选snappy、gzip、lz4），snappy是平衡CPU消耗与压缩比的推荐选项（压缩比约2-3倍，CPU消耗较低）。压缩可减少网络传输的数据量和磁盘存储开销，提升吞吐。batch.size（批量大小，默认16KB）至64KB-1MB（内存充足时可更大），增加每批次消息的数量；设置linger.ms（等待时间，默认0）至5-50ms，让Producer等待更多消息加入批次后再发送。批量处理可减少网络请求次数，提升吞吐。buffer.memory（发送缓冲区，默认32MB）至128MB，避免Producer因缓冲区满而阻塞（若缓冲区满，会抛出BufferExhaustedException）。compression.type=snappy），减少网络传输的数据量，提升吞吐（压缩后的消息会在Broker端解压后存储）。fetch.min.bytes（每次拉取的最小数据量，默认1B）至1KB-1MB，减少拉取次数；调整fetch.max.wait.ms（拉取等待时间，默认500ms），平衡延迟与吞吐（等待时间越长，拉取的数据量越大，吞吐越高）。kafka_server_brokertopicmetrics_messages_in_total）、延迟（kafka_consumer_fetch_manager_metrics_records_lag）、CPU/内存使用率（top、free -m）、磁盘I/O（iostat -x 1）、网络流量（iftop）。kafka-producer-perf-test.sh、kafka-consumer-perf-test.sh）模拟高并发场景，量化吞吐量（如kafka-producer-perf-test.sh --topic test --num-records 1000000 --record-size 1000 --throughput 100000 --producer-props bootstrap.servers=localhost:9092），根据测试结果调整配置。