centos kafka如何进行集群管理

在CentOS上管理Kafka集群涉及多个步骤，包括安装和配置Kafka、Zookeeper，以及启动和验证集群。以下是详细的步骤：

环境准备

1. 安装Java：Kafka需要Java运行环境，首先确保系统上安装了Java。

   sudo yum install java-1.8.0-openjdk-devel
   java -version
   

2. 下载并解压Kafka：从Apache Kafka官网下载最新版本的Kafka，并解压到指定目录。

   wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
   tar -xzf kafka_2.13-3.2.0.tgz
   cd kafka_2.13-3.2.0
   

配置Zookeeper

1. 启动Zookeeper：进入Zookeeper目录并创建数据目录。

   cd zookeeper-3.7.0
   mkdir -p data log
   vi conf/zoo.cfg
   

   编辑zoo.cfg文件，确保以下配置正确：

   dataDir /path/to/zookeeper/data
   clientPort 2181
   server.1 localhost:2888:3888
   server.2 localhost:2889:3888
   server.3 localhost:2890:3888
   

2. 启动Zookeeper服务：

   bin/zkServer.sh start
   

配置Kafka

1. 配置多个Broker：在每个Broker的server.properties文件中进行以下配置：

   broker.id 1
   listeners PLAINTEXT://:9092
   log.dirs /tmp/kafka-logs-1
   zookeeper.connect localhost:2181
   

   broker.id 2
   listeners PLAINTEXT://:9093
   log.dirs /tmp/kafka-logs-2
   zookeeper.connect localhost:2181
   

   broker.id 3
   listeners PLAINTEXT://:9094
   log.dirs /tmp/kafka-logs-3
   zookeeper.connect localhost:2181
   

2. 启动Kafka Broker：在每个Broker的目录下启动Kafka服务器：

   bin/kafka-server-start.sh config/server.properties
   

验证集群状态

1. 查看集群状态：使用Kafka自带的工具验证集群状态。

   bin/kafka-topics.sh --list --bootstrap-server broker1:9092
   

2. 创建测试主题：

   bin/kafka-topics.sh --create --topic test-topic --bootstrap-server broker1:9092 --replication-factor 3 --partitions 3
   

3. 生产者和消费者测试：
   • 生产者：

     bin/kafka-console-producer.sh --topic test-topic --bootstrap-server broker1:9092
     

   • 消费者：

     bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server broker1:9092