centos上kafka集群如何配置 - 问答

在CentOS上配置Kafka集群涉及多个步骤，包括安装必要的软件、配置Kafka和Zookeeper、启动服务以及验证配置。以下是一个详细的指南：

1. 安装JDK

首先，确保你的系统上安装了JDK。可以使用以下命令安装OpenJDK 8：

sudo yum install java-1.8.0-openjdk-devel -y

验证安装：

java -version

2. 下载并解压Kafka

从Apache Kafka官网下载最新版本的Kafka，并解压到指定目录。例如，下载Kafka 3.5.2版本：

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgztar -zxvf kafka_2.12-3.5.2.tgz -C /usr/local/kafka
cd /usr/local/kafka

3. 配置Zookeeper

Kafka依赖Zookeeper，因此需要先配置Zookeeper。编辑config/zookeeper.properties文件，设置数据目录和客户端端口等参数：

dataDir=/usr/local/kafka/zookeeper
clientPort=2181

然后启动Zookeeper服务：

nohup /usr/local/kafka/bin/zookeeper-server-start.sh config/zookeeper.properties &

4. 配置Kafka

编辑Kafka的config/server.properties文件，设置以下关键参数：

broker.id=0
listeners=PLAINTEXT://your_server_ip:9092
advertised.listeners=PLAINTEXT://your_server_ip:9092
log.dirs=/usr/local/kafka/kafka-logs
zookeeper.connect=localhost:2181

5. 启动Kafka服务

使用以下命令启动Kafka服务：

nohup /usr/local/kafka/bin/kafka-server-start.sh config/server.properties &

6. 验证Kafka配置

创建一个测试主题并验证Kafka是否正常工作：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics.sh --list --zookeeper localhost:2181
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

7. 高可用性配置

为了实现高可用性，通常需要配置多个Kafka broker，并确保Zookeeper集群的高可用性。在server.properties中配置以下参数：

auto.leader.rebalance.enable=true

8. 安全配置

为了提高安全性，可以配置SSL/TLS加密通信和SASL认证。

使用SSL/TLS加密通信

生成证书并配置Kafka和Zookeeper：

keytool -genkey -alias kafka -keyalg RSA -keysize 2048 -storetype JKS -keystore kafka.server.keystore.jks -validity 3650
keytool -export -alias kafka -file kafka.server.keystore.jks -keystore kafka.server.keystore.jks -storetype JKS
keytool -import -alias kafka -file kafka.server.keystore.jks -keystore kafka.server.truststore.jks -storetype JKS

修改server.properties文件，指定密钥库和信任库的位置以及密码：

listeners=SSL://:9093
security.inter.broker.protocol=SSL
ssl.keystore.location=/usr/local/kafka/kafka.server.keystore.jks
ssl.keystore.password=your_keystore_password
ssl.key.password=your_key_password
ssl.truststore.location=/usr/local/kafka/kafka.server.truststore.jks
ssl.truststore.password=your_truststore_password

启用SASL认证

安装并配置Kafka SASL插件。创建JAAS配置文件，指定Kafka服务器和客户端的身份验证信息。修改server.properties文件，启用SASL认证并指定JAAS配置文件的位置：

listeners=SASL_PLAINTEXT://:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
sasl.client.mechanism.list=PLAIN

创建JAAS配置文件kafka_server_jaas.conf：

KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret";
};

在启动Kafka时指定JAAS配置文件：

export KAFKA_OPTS="-Djava.security.auth.login.config=/usr/local/kafka/kafka_server_jaas.conf"

以上步骤应该可以帮助你在CentOS上成功配置一个高可用的Kafka集群。请根据你的具体环境和需求调整配置。

0 赞

0 踩