Kafka集群在Ubuntu上的搭建步骤

在Ubuntu上搭建Kafka集群是一个相对复杂的过程，需要仔细配置多个组件。以下是一个详细的步骤解析，基于多个来源的信息：

环境准备

1. 安装Java：

   • 更新系统包列表：

     sudo apt update
     

   • 安装OpenJDK 8：

     sudo apt install openjdk-8-jdk
     

   • 验证Java安装成功：

     java -version
     

2. 安装Zookeeper：

   • 下载Zookeeper安装包：

     wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/zookeeper-3.8.0.tar.gz
     

   • 解压文件：

     tar -xzvf zookeeper-3.8.0.tar.gz
     

   • 移动解压后的目录：

     sudo mv zookeeper-3.8.0 /usr/local/zookeeper
     

   • 配置Zookeeper：
     • 复制配置文件：

       sudo cp /usr/local/zookeeper/conf/zoo.cfg /usr/local/zookeeper/conf/zoo.cfg.samples
       

     • 编辑配置文件：

       sudo vi /usr/local/zookeeper/conf/zoo.cfg
       

     • 确保以下配置正确：

       tickTime=2000
       dataDir=/var/lib/zookeeper
       clientPort=2181
       

   • 启动Zookeeper：

     sudo /usr/local/zookeeper/bin/zkServer.sh start
     

   • 验证Zookeeper是否启动成功：

     sudo netstat -nap | grep 2181
     

安装Kafka

1. 下载Kafka：

   • 从Apache Kafka官网下载最新版本的Kafka二进制包：

     wget https://downloads.apache.org/kafka/3.6.2/kafka_2.12-3.6.2.tgz
     

   • 解压文件：

     tar -xzvf kafka_2.12-3.6.2.tgz -C /usr/local
     

2. 配置Kafka：

   • 进入Kafka配置目录：

     cd /usr/local/kafka_2.12-3.6.2/config
     

   • 复制server.properties文件：

     sudo cp server.properties server.properties.template
     

   • 编辑server.properties文件：

     sudo vi server.properties
     

   • 确保以下配置正确：

     broker.id=0
     listeners=PLAINTEXT://:9092
     advertised.listeners=PLAINTEXT://your_server_ip:9092
     log.dirs=/tmp/kafka-logs
     zookeeper.connect=localhost:2181
     

3. 启动Kafka：

   • 在每台机器上启动Kafka服务：

     sudo /usr/local/kafka_2.12-3.6.2/bin/kafka-server-start.sh config/server.properties
     

验证安装

1. 创建Topic：

   • 使用Kafka提供的命令行工具创建测试Topic：

     sudo /usr/local/kafka_2.12-3.6.2/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
     

2. 发送和接收消息：

   • 使用Kafka自带的命令行工具测试消息发送和消费：
     • 生产者：

       sudo /usr/local/kafka_2.12-3.6.2/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
       

     • 消费者：

       sudo /usr/local/kafka_2.12-3.6.2/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
       

配置Kafka集群（可选）

1. 在多台服务器上重复上述步骤，确保每台服务器的broker.id不同。
2. 配置server.properties文件，确保listeners和advertised.listeners指向正确的地址。
3. 在任意一台服务器上生成集群ID：

   /usr/local/kafka_2.12-3.6.2/bin/kafka-storage.sh random-uuid
   

4. 在其他服务器上使用相同的集群ID启动Kafka服务。

注意事项

• 确保所有服务器的防火墙允许Kafka使用的端口（如9092）。
• 如果你使用的是Kafka 2.8.0及以上版本，可以不依赖Zookeeper运行，而是使用Kafka Raft模式。

以上步骤应该可以帮助你在Ubuntu上成功部署Kafka。如果在安装过程中遇到问题，请检查日志文件以获取更多信息。