Kafka配置Ubuntu集群方法

配置Kafka集群是一个相对复杂的过程，需要仔细配置多个组件。以下是一个详细的步骤解析，基于多个来源的信息：

环境准备

1. 安装Java环境：

   Kafka依赖于Java，首先需要安装Java环境。

   sudo apt update
   sudo apt install openjdk-8-jdk
   java -version
   

2. 安装Zookeeper：

   Kafka集群需要Zookeeper来管理集群元数据，因此需要安装并配置好Zookeeper集群。

   wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
   tar -xzvf apache-zookeeper-3.7.0-bin.tar.gz
   sudo mv apache-zookeeper-3.7.0 /opt/zookeeper
   

   编辑Zookeeper配置文件 /opt/zookeeper/conf/zoo.cfg：

   tickTime=2000
   dataDir=/var/lib/zookeeper
   clientPort=2181
   

   启动Zookeeper：

   sudo /opt/zookeeper/bin/zkServer.sh start
   

   验证Zookeeper是否启动成功：

   sudo netstat -nap | grep 2181
   

3. 安装Kafka：

   从Apache Kafka官网下载最新版本的Kafka二进制包。

   wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
   tar -xzvf kafka_2.13-2.8.0.tgz -C /usr/local
   

配置Kafka

1. 配置server.properties：

   进入Kafka配置目录 /usr/local/kafka_2.13-2.8.0/config，复制 server.properties 文件并修改：

   sudo cp server.properties server-1.properties
   sudo cp server.properties server-2.properties
   sudo cp server.properties server-3.properties
   

   编辑 server-1.properties：

   broker.id=1
   listeners=PLAINTEXT://:9092
   advertised.listeners=PLAINTEXT://192.168.1.1:9092
   log.dirs=/tmp/kafka-1
   zookeeper.connect=192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181
   

   为每个broker节点复制一份配置文件，并修改其中的 broker.id 以保证每个broker的唯一性。

启动集群

1. 启动Zookeeper：

   在每台机器上启动Zookeeper服务：

   sudo /usr/local/zookeeper/bin/zkServer.sh start
   

2. 启动Kafka Server：

   在每台机器上，使用配置好的 server.properties 启动Kafka服务：

   sudo /usr/local/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/local/kafka_2.13-2.8.0/config/server-1.properties
   sudo /usr/local/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/local/kafka_2.13-2.8.0/config/server-2.properties
   sudo /usr/local/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/local/kafka_2.13-2.8.0/config/server-3.properties
   

验证集群

1. 创建Topic：

   在任意一个Kafka节点上创建一个Topic以验证集群功能：

   sudo /usr/local/kafka_2.13-2.8.0/bin/kafka-topics.sh --create --zookeeper 192.168.1.2:2181 --replication-factor 3 --partitions 1 --topic test-topic
   

2. 列出Topic：

   在集群中的任意节点上列出Topic：

   sudo /usr/local/kafka_2.13-2.8.0/bin/kafka-topics.sh --list --zookeeper 192.168.1.2:2181
   

3. 生产者和消费者测试：

   使用Kafka自带的命令行工具测试消息发送和消费：

   • 生产者：

     sudo /usr/local/kafka_2.13-2.8.0/bin/kafka-console-producer.sh --broker-list 192.168.1.1:9092,192.168.1.2:9093,192.168.1.3:9094 --topic test-topic
     

   • 消费者：

     sudo /usr/local/kafka_2.13-2.8.0/bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.1:9092,192.168.1.2:9093,192.168.1.3:9094 --topic test-topic --from-beginning
     

以上步骤提供了一个基本的Kafka集群搭建流程。根据具体需求和环境，可能还需要进行更多的配置和优化。