Kafka性能调优配置技巧
Kafka性能调优需围绕生产者、Broker、消费者、硬件/操作系统及监控五大核心环节展开，通过参数配置与架构优化提升吞吐量、降低延迟、保障可靠性。
生产者是Kafka写入性能的起点，核心目标是批量发送、压缩传输、可靠确认。
batch.size（默认16KB）增大批量消息大小（建议64KB~1MB），减少网络请求次数；配合linger.ms（默认0）设置消息等待时间（建议50~100ms），允许更多消息合并成批次，在吞吐与延迟间取得平衡。compression.type（如snappy、lz4，Kafka 2.1+推荐zstd），压缩率可达30%~50%，显著减少网络传输与存储开销。acks（1=Leader确认，平衡吞吐与可靠性；all=所有副本确认，高可靠但吞吐降低）；启用enable.idempotence=true（需配合acks=all），避免网络重试导致的消息重复。buffer.memory（默认32MB，建议512MB~1GB），防止生产者缓冲区满导致阻塞；设置retries（如10次）与retry.backoff.ms（如500ms），应对短暂网络波动。Broker是Kafka集群的核心，需优化并发处理、I/O效率、存储策略。
replication.factor设为3（高可用），min.insync.replicas设为2（确保多数副本同步），平衡可靠性与性能。num.network.threads（处理网络请求的线程数）设为CPU核心数的1~2倍（如8核设8~16）；num.io.threads（处理磁盘IO的线程数）设为磁盘数量的2~3倍（如4块磁盘设8~12），提升并发处理能力。num.io.threads匹配磁盘数量，充分利用多磁盘并行IO；增大socket.send.buffer.bytes与socket.receive.buffer.bytes（如1MB），提升网络传输效率。log.segment.bytes（日志分段大小，默认1GB，建议2~5GB），减少文件切换开销；设置log.retention.hours（日志保留时间，默认168小时，建议7~30天），避免磁盘空间耗尽。消费者性能取决于并行消费、批量拉取、偏移量管理。
listener.concurrency）等于Topic分区数（如6个分区设6个线程），避免资源闲置；使用CooperativeStickyAssignor（分区分配策略），减少重平衡时间。max.poll.records（单次拉取最大消息数，建议500~1000），减少网络交互；设置fetch.min.bytes（如1MB）与fetch.max.wait.ms（如500ms），累积足够数据再拉取，提升吞吐。enable.auto.commit=false），使用isolation.level=read_committed（仅消费已提交消息），并通过manual模式在业务处理完成后提交偏移量，避免重复消费。@Async异步分离消费与业务逻辑（如Spring的@KafkaListener配合自定义线程池），避免消费者线程阻塞；控制max.poll.interval.ms（如30s），防止处理耗时过长导致重平衡。硬件与操作系统是Kafka性能的底层支撑。
vm.swappiness=1~10（减少交换内存使用，避免OOM Killer终止进程）；增大ulimit -n（文件描述符限制，如10万+），支持高并发连接；调整TCP参数（如net.core.somaxconn=1024、net.ipv4.tcp_max_syn_backlog=1024），提升网络吞吐。监控是性能调优的关键，需建立指标采集-分析-调整的闭环。
kafka-producer-perf-test与kafka-consumer-perf-test工具模拟压测，验证优化效果。max.poll.records或消费者线程数）；动态调整（业务高峰期增大batch.size，低峰期恢复默认值）；定期复盘（如每月分析性能瓶颈，调整分区数或硬件配置）。