Kafka在Linux上的配置要点是什么

Kafka在Linux上的配置要点

1. 环境准备

• Java环境：Kafka基于Java开发，需安装JDK 8或更高版本（推荐OpenJDK 11）。通过java -version验证安装，确保JAVA_HOME环境变量已配置（如export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64）。
• Kafka安装：从Apache官网下载对应版本的Kafka（如kafka_2.13-3.6.1.tgz），解压至指定目录（如/opt/kafka），并设置目录权限（chown -R kafka:kafka /opt/kafka）。

2. 核心配置文件（server.properties）

• broker.id：集群中Broker的唯一标识（整数），集群内不可重复（如broker.id=0）。
• listeners：Broker监听的地址和端口，格式为协议://主机名:端口（如PLAINTEXT://your_server_ip:9092），需替换为服务器实际IP。
• advertised.listeners：客户端连接的地址（对外公布），若Broker有多个网络接口，需设置为可访问的IP（如PLAINTEXT://public_ip:9092），避免客户端连接失败。
• log.dirs：Kafka日志（消息数据）的存储目录，建议使用独立分区（如/data/kafka/logs），并确保目录存在且有写入权限。
• zookeeper.connect：Zookeeper集群连接地址（如localhost:2181或zk1:2181,zk2:2181,zk3:2181），Kafka依赖Zookeeper管理集群元数据。
• num.partitions：Topic默认分区数，根据业务需求设置（如num.partitions=8），分区数越多，吞吐量越高，但会增加管理复杂度。
• default.replication.factor：Topic默认副本数，建议设置为3（集群节点数≥3时），保障数据高可用（如default.replication.factor=3）。

3. Zookeeper配置

• 数据目录：创建Zookeeper数据存储目录（如/var/lib/zookeeper）和日志目录（如/var/log/zookeeper），设置目录权限（chown -R zookeeper:zookeeper /var/lib/zookeeper）。
• 配置文件：编辑zookeeper.properties，设置dataDir（数据目录）、clientPort（客户端端口，默认2181）、maxClientCnxns（最大客户端连接数，默认100）等参数。
• 启动Zookeeper：通过bin/zookeeper-server-start.sh config/zookeeper.properties启动，使用netstat -plnt | grep 2181验证端口是否监听。

4. 网络与IO优化

• 线程池配置：调整num.network.threads（网络请求处理线程数，默认3）和num.io.threads（IO操作线程数，默认8），根据服务器CPU核心数设置（如num.io.threads=16）。
• 缓冲区大小：设置socket.send.buffer.bytes（发送缓冲区，默认100KB）、socket.receive.buffer.bytes（接收缓冲区，默认100KB）和socket.request.max.bytes（请求最大大小，默认100MB），提升网络传输效率。

5. 日志清理策略

• 保留时间：设置log.retention.hours（日志保留小时数，默认168小时/7天），可根据业务需求调整（如log.retention.hours=168保留7天）。
• 日志段大小：设置log.segment.bytes（日志段文件大小，默认1GB），当日志段达到该大小时，会滚动生成新文件（如log.segment.bytes=1073741824）。

6. 权限与开机自启动

• 目录权限：确保Kafka安装目录（如/opt/kafka）、日志目录（如/data/kafka/logs）和数据目录（如/var/lib/kafka）的所属用户为kafka，避免权限问题。
• 开机自启动：通过systemd配置Kafka自启动，创建/lib/systemd/system/kafka.service文件，内容包含User=kafka、ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties等参数，执行systemctl daemon-reload、systemctl enable kafka和systemctl start kafka启用服务。