Linux Kafka配置的最佳实践

以下是Linux Kafka配置的最佳实践：

• 硬件与软件选择：使用3台及以上服务器构建集群，选择多核处理器、大内存和SSD磁盘，安装最新稳定版Kafka和JDK，确保版本兼容。
• 配置文件优化：
  • server.properties：合理设置broker.id、log.dirs（建议多目录分布在不同磁盘）、listeners等参数，根据业务需求调整num.partitions、replication.factor（通常为3）、min.insync.replicas（通常为2）等。
  • 生产者/消费者配置：生产者设置batch.size（64KB - 1MB）、linger.ms（50ms左右）、compression.type（LZ4或Snappy）、acks（根据可靠性需求选择）；消费者设置fetch.min.bytes（1MB左右）、max.poll.records（500 - 1000）等。
• 性能优化：
  • 操作系统层面：增大文件描述符限制（ulimit -n 100000+），调整内核参数如vm.swappiness（1 - 10）。
  • JVM调优：合理设置堆内存（如-Xms4G -Xmx4G），选择G1垃圾回收器。
• 高可用性配置：
  • 启用多副本机制，确保副本分布在不同机架或可用区，设置unclean.leader.election.enable=false。
  • 监控ISR数量，确保其大于等于min.insync.replicas。
• 监控与维护：使用Prometheus + Grafana监控集群状态，定期清理日志文件，进行滚动升级等维护操作。