Zookeeper与Kafka集成方式

Zookeeper与Kafka的集成通常涉及以下几个步骤：

1. 环境准备

• 准备3台机器，分别为192.168.211.149、192.168.211.137、192.168.211.132，并安装JDK 1.8环境。
• 下载Zookeeper和Kafka安装包，例如zookeeper-3.4.5.tar.gz和kafka_2.13-3.1.0.tgz。

2. 搭建Zookeeper集群

• 上传软件包至指定目录并解压。
• 修改zoo.cfg配置文件，包括tickTime、initLimit、syncLimit、dataDir、dataLogDir、clientPort等参数，以及添加server.X条目，其中X是机器的ID。
• 在各机器上创建myid文件，内容分别为1、2、3，对应各自的机器ID。
• 启动Zookeeper集群，并在每台机器上使用jps命令检查进程，确保Zookeeper集群启动成功。

3. 搭建Kafka集群

• 上传软件包至指定目录并解压。
• 修改server.properties配置文件，包括broker.id、listeners、zookeeper.connect、num.partitions、log.retention.hours等参数。
• 在各机器上创建对应的目录，如/opt/kafka_2.13-3.1.0/logs等。
• 启动Kafka集群，使用命令nohup /opt/kafka_2.13-3.1.0/bin/kafka-server-start.sh /opt/kafka_2.13-3.1.0/config/server.properties &。
• 创建Kafka主题，例如使用命令./bin/kafka-topics.sh --bootstrap-server 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --create --topic wozaijia --partitions 2 --replication-factor 2。

4. 验证集成

• 生产消息，使用命令./bin/kafka-console-producer.sh --broker-list 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --topic wozaijia。
• 消费消息，使用命令./bin/kafka-console-consumer.sh --bootstrap-server 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --topic wozaijia --from-beginning。

以上步骤展示了如何在Linux环境下，通过修改配置文件和启动服务，将Zookeeper与Kafka集成在一起，并创建和消费主题。注意，实际操作中可能需要根据具体环境进行调整。