Ubuntu环境下Kafka性能调优指南
Kafka在Ubuntu上的性能调优需围绕硬件资源、Broker配置、生产者/消费者优化、JVM调优、操作系统参数及监控六大核心维度展开，以下是具体策略：
硬件是性能基础，需优先满足以下要求：
Broker是Kafka核心组件，需调整以下关键参数：
num.network.threads：控制网络请求处理线程数，建议设置为CPU核心数的50%~70%（如8核CPU设为4~6）；num.io.threads：控制磁盘I/O操作线程数，建议设置为CPU核心数的50%~100%（如8核CPU设为4~8），需匹配磁盘数量及性能；num.replica.fetchers：副本拉取线程数，建议设置为CPU核心数的1/3~1/2（如8核CPU设为2~3），提升副本同步效率。log.segment.bytes：日志分段大小，建议设置为1GB（默认1GB），减少分段数量及索引开销；log.retention.hours：日志保留时间，根据业务需求设置（如7天=168小时），避免磁盘空间耗尽；socket.send.buffer.bytes/socket.receive.buffer.bytes：Socket缓冲区大小，建议设置为1MB（默认100KB），提升网络传输效率。compression.type：启用消息压缩（如lz4或snappy），减少网络传输及存储开销（lz4在压缩率与CPU开销间平衡最佳）；acks：消息确认机制，根据可靠性需求设置（acks=all确保数据不丢失，acks=1平衡可靠性与吞吐量）。生产者是数据写入端，需优化批量发送与压缩：
batch.size：批量发送字节数，建议设置为32KB~1MB（如64KB），增大批次减少网络请求；linger.ms：消息等待时间，建议设置为10~100ms（如100ms），等待更多消息填充批次，提升吞吐量；buffer.memory：生产者缓冲区大小，建议设置为64MB以上（如128MB），避免缓冲区溢出导致阻塞。compression.type：与Broker一致（如lz4），进一步减少网络传输开销；acks：根据业务需求设置（acks=all确保数据写入所有副本，acks=1提升写入速度）。消费者是数据读取端，需优化拉取效率：
fetch.min.bytes：每次拉取最小字节数，建议设置为1MB（默认1字节），减少网络请求次数；fetch.max.wait.ms：拉取等待时间，建议设置为1~10秒（如1000ms），平衡延迟与吞吐量；max.poll.records：每次poll返回的最大消息数，建议设置为500~1000，避免单次处理过多消息导致延迟。JVM性能直接影响Kafka Broker稳定性，需调整以下参数：
-Xms（初始堆内存）与-Xmx（最大堆内存）设置为相同值（如2GB~8GB），避免堆内存动态调整带来的GC停顿；-XX:+UseG1GC），减少Full GC停顿时间（适用于大内存场景）；-XX:MaxGCPauseMillis=200（目标最大GC停顿时间），平衡GC频率与停顿时间。操作系统层面需调整以下参数，提升Kafka性能：
ulimit -n 65535（或更高），增加Kafka可处理的并发连接数（默认1024会导致连接拒绝）；net.core.somaxconn（监听队列长度，建议设置为1024~2048）、net.ipv4.tcp_max_syn_backlog（SYN队列长度，建议设置为1024~2048），减少连接建立延迟；vm.swappiness=10（默认60），降低系统使用Swap的概率（Kafka依赖页缓存，Swap会严重影响性能）；sendfile系统调用（默认开启），减少数据在内核空间与用户空间间的拷贝次数，提升文件传输效率。性能调优需持续监控，确保优化效果：
kafka-producer-perf-test（生产者压测）和kafka-consumer-perf-test（消费者压测）工具，模拟高负载场景，评估优化效果；server.log），及时发现磁盘空间不足、GC停顿过长等问题。以上策略需根据业务场景（如吞吐量优先、低延迟优先、可靠性优先）及硬件资源灵活调整，建议在测试环境验证后再应用于生产环境。