CentOS Kafka性能调优有哪些技巧

CentOS 上 Kafka 性能调优要点

一 操作系统与存储层优化

• 虚拟内存与脏页控制：将 vm.swappiness 设为1（尽量避免 swap），将 vm.dirty_background_ratio 设为≤5（如5），将 vm.dirty_ratio 设为60–80以允许内核在可控窗口内集中刷脏，避免频繁小刷引发抖动。
• 文件系统与挂载：优先 XFS/EXT4，挂载使用 noatime（必要时 nodiratime）减少元数据写入。
• 磁盘与 I/O 调度：优先 SSD/NVMe；高并发写入可适当增大 read_ahead_kb；I/O 调度器可选 deadline/noop（视磁盘类型与负载而定）。
• 网络栈：提高 socket 缓冲与 TCP 缓冲上限，建议 net.core.wmem_default/rmem_default=128KB、net.core.wmem_max/rmem_max=2MB，并合理设置 net.ipv4.tcp_wmem/tcp_rmem。
• 资源与稳定性：确保 ulimit -n（文件描述符）足够大，提升 vm.max_map_count；必要时分离 Zookeeper/Kafka 资源，避免互相影响。

二 Broker 关键配置

• 并发与网络：按 CPU 与负载调整 num.network.threads（网络 I/O）与 num.io.threads（磁盘 I/O），高并发场景可适当增大。
• 存储路径与多盘：将 log.dirs 指向多块磁盘（如 /data1/kafka,/data2/kafka），分散分区与段文件，降低单盘热点。
• 段与保留：根据保留策略与磁盘容量调整 log.segment.bytes（如 2GB–4GB），并合理设置 log.retention.hours（如 72 小时）。
• 可靠性与恢复：设置 min.insync.replicas=2、replica.lag.time.max.ms=10000，在吞吐与持久性间取得平衡。
• 刷新策略：在允许一定数据重放风险的场景，适度提高 log.flush.interval.ms（如 60000 ms）以减少强制刷盘次数。
• 网络缓冲：提升 socket.send.buffer.bytes/socket.receive.buffer.bytes（如 10MB）以支撑大流量传输。

三 JVM 与 GC 调优

• 堆大小：将 -Xms 与 -Xmx 设为相同值，通常取物理内存的25%–50%；例如 -Xms8G -Xmx8G（具体取决于总内存与堆外需求）。
• 垃圾回收器：优先 G1 GC，设置 -XX:+UseG1GC，并结合负载调节 -XX:MaxGCPauseMillis（如 200 ms）与 -XX:InitiatingHeapOccupancyPercent（如 45）。
• 元空间与线程栈：设置 -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=512m，-Xss=1m。
• GC 日志：开启 -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/var/log/kafka/gc.log，便于排障与回溯。

四 生产者与消费者参数

• 生产者：开启批量与压缩，合理设置 batch.size、linger.ms、buffer.memory，并启用 compression.type=snappy/lz4/zstd 以降低网络与磁盘开销。
• 消费者：增大 fetch.min.bytes 与 fetch.max.wait.ms 以获取更大批次，减少网络往返；确保 fetch.max.bytes 与 Broker 端 message.max.bytes/replica.fetch.max.bytes 匹配，避免不必要的小消息拆分与重传。

五 监控 压测与容量规划

• 基准压测：使用 kafka-producer-perf-test.sh 进行吞吐与延迟基线测试，验证配置改动收益。
• 磁盘诊断：用 iostat -x 1 观察 %util/await，定位高占用分区与磁盘瓶颈。
• 容量与分区：按峰值吞吐与副本数估算分区规模，避免单 Broker 分区过多导致调度与文件句柄压力；结合业务增长预留 headroom。
• 监控告警：持续监控 网络吞吐、磁盘 I/O、请求延迟、请求错误率、UnderReplicatedPartitions、ActiveControllerCount 等关键指标，设置阈值告警并联动扩缩容与参数回滚预案。