Kafka性能调优实用技巧
Kafka性能调优需围绕吞吐量、延迟、可靠性三大核心目标，从生产者、Broker、消费者、操作系统/硬件、Topic设计、监控六大维度系统优化，以下是经过生产环境验证的实用技巧：
生产者是Kafka数据流入的起点，优化重点在于减少网络请求次数和降低数据传输量。
batch.size（建议64KB~1MB，默认16KB），让生产者积累更多消息后再发送，减少网络IO；调整linger.ms（建议50~100ms，默认0），让生产者在发送前等待一段时间，填充批次，平衡延迟与吞吐量。compression.type（推荐LZ4或Snappy），压缩率可达30%~50%，显著减少网络传输数据量和Broker存储压力。acks（1=Leader确认，平衡吞吐与可靠性；all=所有副本确认，高可靠但吞吐降低）；增大buffer.memory（建议512MB~1GB，默认32MB），防止生产者因缓冲区满而阻塞；配置retries（如10次）和retry.backoff.ms（如500ms），应对网络抖动，避免数据丢失。Broker是Kafka集群的核心，优化重点在于提升并行处理能力和优化磁盘/网络IO。
num.partitions（建议每个Broker承载100~200分区，根据消费者线程数调整，确保分区数≥消费者线程数），提高消息并行处理能力；增加num.replica.fetchers（如4~8，默认1），加速Follower副本同步，减少Leader压力。num.io.threads（建议磁盘数量的2~3倍，默认8），充分利用多磁盘IO能力；调整socket.send.buffer.bytes和socket.receive.buffer.bytes（如128KB~1MB），提升网络传输效率。log.segment.bytes（建议2~5GB，默认1GB），减少日志分段切换频率；设置合理的log.retention.hours（如168小时=7天），避免磁盘空间耗尽；调整log.flush.interval.messages（如10000条）和log.flush.interval.ms（如1000ms），平衡数据持久性与性能（SSD可适当增大间隔）。消费者是Kafka数据流出的终点，优化重点在于匹配生产者吞吐量和避免背压。
fetch.min.bytes（建议1MB，默认1字节），减少网络请求次数；设置fetch.max.wait.ms（如1000ms，默认500ms），平衡延迟与吞吐量；调整max.poll.records（如500~1000，默认500），控制每次poll的最大消息数，避免消费者处理超时。max.partition.fetch.bytes（如5~10MB，默认1MB），匹配高吞吐场景下的单分区数据量。fetch参数或扩容消费者实例，避免消息堆积导致系统崩溃。硬件和操作系统是Kafka运行的基石，优化重点在于提升IO性能和减少资源竞争。
-Xms与-Xmx一致，如4~8GB），避免GC频繁导致停顿。vm.swappiness=1~10（默认60），减少交换内存使用，避免OOM Killer终止进程；调整net.core.wmem_default和net.core.rmem_default（如128KB~1MB），增大TCP缓冲区；增大文件描述符限制（ulimit -n 100000+），支持高并发连接。Topic设计直接影响集群扩展性与性能，需提前规划：
default.replication.factor=3（跨AZ部署）；允许短暂数据丢失的场景设置default.replication.factor=2，降低成本。性能调优需持续监控，及时发现问题：
batch.size、linger.ms提升吞吐量；低峰期恢复默认值，降低延迟。