kafka在centos的配置技巧有哪些

以下是Kafka在CentOS的配置技巧：

1. 基础环境配置：
   • 安装JDK：Kafka依赖Java，用sudo yum install java-1.8.0-openjdk-devel安装。
   • 下载解压Kafka：从官网下载，如wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz，然后tar -xzf解压到指定目录。
2. 配置文件优化：
   • 修改server.properties，关键参数有broker.id（唯一标识）、listeners（监听地址端口）、advertised.listeners（对外地址端口）、log.dirs（日志目录）、zookeeper.connect（Zookeeper地址）等。
   • 可设置num.partitions（分区数，根据数据量和消费者数调整）、num.replica.fetchers（副本同步线程数）、num.io.threads（I/O线程数，建议为磁盘数2 - 3倍）等参数优化性能。
3. 服务管理配置：
   • 创建Systemd服务文件，如/usr/lib/systemd/system/kafka.service，配置启动停止等参数，然后sudo systemctl enable kafka和sudo systemctl start kafka实现开机自启和服务管理。
4. 安全配置（可选）：
   • 配置SASL认证等，如创建kafka_server_jaas.conf文件并在启动脚本中指定。
5. 网络配置：
   • 根据实际情况配置listeners和advertised.listeners，如内网外网不同场景。
   • 开放防火墙相应端口，如sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent。
6. 监控与调优：
   • 使用Prometheus和Grafana等监控工具监控Kafka性能指标。
   • 根据监控结果调整参数，如调整批量大小、缓冲区大小等优化生产者和消费者性能。