Kafka在Linux下的性能调优方法
ulimit -n 65536），避免因连接数过多导致拒绝服务。vm.swappiness（建议设为10以下，减少磁盘交换）、vm.dirty_background_ratio（脏页比例阈值，建议设为5-10%）等参数，提升内存与磁盘I/O效率；调整TCP参数如net.core.somaxconn（监听队列长度，建议设为1024以上）、net.ipv4.tcp_max_syn_backlog（SYN队列长度，建议设为8192），增强网络吞吐能力。num.network.threads（通常为CPU核心数的1-2倍，处理网络请求）；根据磁盘数量设置num.io.threads（通常为磁盘数量的1-2倍，处理磁盘读写），避免线程成为瓶颈。num.partitions），需大于消费者组内消费者数量（如消费者组有5个消费者，分区数建议≥5），提升并行处理能力；设置default.replication.factor=3（默认副本数），min.insync.replicas=2（最小同步副本数），平衡高可用性与性能。log.segment.bytes（日志段大小，建议128MB-512MB，过大导致清理延迟，过小增加IO次数）；设置log.retention.hours（日志保留时间，建议1-3天，根据业务需求调整），避免日志过度累积占用磁盘空间。batch.size（批量发送大小，建议1MB，增大批量可提升吞吐量但增加延迟）；linger.ms（发送等待时间，建议100ms以上，让批量更满）；compression.type（压缩类型，如lz4，在CPU资源充足时使用，可减少网络传输量）。tcp_nopush（合并小包，减少发送次数）、tcp_nodelay（禁用Nagle算法，降低延迟），启用sendfile系统调用（通过零拷贝技术，减少数据在内核与用户空间的拷贝次数），提升网络传输效率。-Xmx（最大堆内存）和-Xms（初始堆内存），建议两者相等（如-Xmx4G -Xms4G），避免堆内存动态扩展带来的停顿；堆内存大小需根据Broker负载调整（如每百万条消息约需1GB堆内存）。-XX:+UseG1GC），相比CMS，G1GC在堆内存较大时（如超过8GB）能提供更稳定的停顿时间（可控制在10ms以内）；调整G1GC参数如-XX:MaxGCPauseMillis=10（目标最大停顿时间）、-XX:InitiatingHeapOccupancyPercent=45（触发并发GC的堆占用率）。log.retention.hours=168（7天）+log.retention.bytes=1073741824（1GB）），避免单分区日志过大；设置log.retention.check.interval.ms=300000（日志清理检查间隔，建议5分钟），及时清理过期日志。log.cleanup.policy=compact（压缩策略），针对Key-Value型数据（如用户状态更新），保留每个Key的最新值，减少日志体积；对于普通日志，可使用compression.type=lz4（压缩算法），在CPU与带宽之间取得平衡。kafka-producer-perf-test.sh（生产者性能测试）和kafka-consumer-perf-test.sh（消费者性能测试）工具，模拟高负载场景，评估调优效果；定期进行压力测试，识别性能瓶颈（如磁盘IO、网络带宽）。server.log），排查错误或警告信息（如磁盘空间不足、副本同步失败）；定期清理日志文件（如使用logrotate工具），确保磁盘空间充足；及时升级Kafka版本（修复bug、提升性能）。