Kafka在Linux上的性能优化策略
ulimit -n 65536命令临时生效，或修改/etc/security/limits.conf永久生效（添加* soft nofile 65536; * hard nofile 65536）。vm.swappiness（默认60，建议设为1-10）：减少内存交换，避免磁盘IO瓶颈；vm.dirty_background_ratio（默认10，建议设为5）和vm.dirty_ratio（默认20，建议设为10）：控制脏页刷新频率，优化磁盘写入性能；atime更新：挂载文件系统时添加noatime选项（如mount -o noatime /dev/sdb1 /opt/kafka/logs），减少文件系统写操作。num.network.threads：处理网络请求的线程数，建议设置为CPU核心数的1-2倍（如8核CPU设为8-16）；num.io.threads：处理磁盘IO的线程数，建议设置为磁盘数量的1-2倍（如4块磁盘设为4-8）。log.segment.bytes：单个日志段大小，建议设置为1GB（默认1GB），过大导致日志清理延迟，过小增加IO次数；log.retention.hours：日志保留时间，建议设置为168小时（7天），根据业务需求调整（如热点数据可缩短至24小时）；log.retention.check.interval.ms：日志清理检查间隔，建议设置为300000ms（5分钟），及时清理过期日志。num.partitions：主题分区数，需大于等于消费者组内消费者数量（如消费者组有10个消费者，分区数至少设为10），并行处理提升吞吐量；default.replication.factor：默认副本因子，建议设置为3（保证高可用），根据集群规模调整（如3节点集群设为3，5节点集群设为3-5）；min.insync.replicas：最小同步副本数，建议设置为2（default.replication.factor=3时），确保数据持久性。batch.size：生产者批量发送大小，建议设置为1MB（默认16KB），增大减少网络请求次数，提升吞吐量；linger.ms：生产者等待批量发送的时间，建议设置为100-500ms（默认0ms），平衡延迟与吞吐量；compression.type：压缩类型，建议使用lz4（压缩率高、延迟低），减少网络传输量和磁盘占用。vm.max_map_count（默认65530，建议设为262144），增加Kafka可使用的映射区域数量。-Xmx和-Xms），建议设置为6-8GB（避免过大导致Full GC停顿），如-Xmx6g -Xms6g。-XX:+UseG1GC；调整G1GC相关参数（如-XX:MaxGCPauseMillis=200，目标最大停顿时间200ms）。log.dirs），清理过期日志（通过kafka-log-dirs工具）；定期备份重要数据，避免数据丢失。