ubuntu

Kafka集群在Ubuntu上的搭建步骤

小樊
46
2025-05-20 18:58:11
栏目: 智能运维

在Ubuntu上搭建Kafka集群是一个相对复杂的过程,需要仔细配置多个组件。以下是一个详细的步骤解析,基于多个来源的信息:

环境准备

  1. 安装Java

    • 更新系统包列表:
      sudo apt update
      
    • 安装OpenJDK 8:
      sudo apt install openjdk-8-jdk
      
    • 验证Java安装成功:
      java -version
      
  2. 安装Zookeeper

    • 下载Zookeeper安装包:
      wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/zookeeper-3.8.0.tar.gz
      
    • 解压文件:
      tar -xzvf zookeeper-3.8.0.tar.gz
      
    • 移动解压后的目录:
      sudo mv zookeeper-3.8.0 /usr/local/zookeeper
      
    • 配置Zookeeper:
      • 复制配置文件:
        sudo cp /usr/local/zookeeper/conf/zoo.cfg /usr/local/zookeeper/conf/zoo.cfg.samples
        
      • 编辑配置文件:
        sudo vi /usr/local/zookeeper/conf/zoo.cfg
        
      • 确保以下配置正确:
        tickTime=2000
        dataDir=/var/lib/zookeeper
        clientPort=2181
        
    • 启动Zookeeper:
      sudo /usr/local/zookeeper/bin/zkServer.sh start
      
    • 验证Zookeeper是否启动成功:
      sudo netstat -nap | grep 2181
      

安装Kafka

  1. 下载Kafka

    • 从Apache Kafka官网下载最新版本的Kafka二进制包:
      wget https://downloads.apache.org/kafka/3.6.2/kafka_2.12-3.6.2.tgz
      
    • 解压文件:
      tar -xzvf kafka_2.12-3.6.2.tgz -C /usr/local
      
  2. 配置Kafka

    • 进入Kafka配置目录:
      cd /usr/local/kafka_2.12-3.6.2/config
      
    • 复制server.properties文件:
      sudo cp server.properties server.properties.template
      
    • 编辑server.properties文件:
      sudo vi server.properties
      
    • 确保以下配置正确:
      broker.id=0
      listeners=PLAINTEXT://:9092
      advertised.listeners=PLAINTEXT://your_server_ip:9092
      log.dirs=/tmp/kafka-logs
      zookeeper.connect=localhost:2181
      
  3. 启动Kafka

    • 在每台机器上启动Kafka服务:
      sudo /usr/local/kafka_2.12-3.6.2/bin/kafka-server-start.sh config/server.properties
      

验证安装

  1. 创建Topic

    • 使用Kafka提供的命令行工具创建测试Topic:
      sudo /usr/local/kafka_2.12-3.6.2/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
      
  2. 发送和接收消息

    • 使用Kafka自带的命令行工具测试消息发送和消费:
      • 生产者:
        sudo /usr/local/kafka_2.12-3.6.2/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
        
      • 消费者:
        sudo /usr/local/kafka_2.12-3.6.2/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
        

配置Kafka集群(可选)

  1. 在多台服务器上重复上述步骤,确保每台服务器的broker.id不同。
  2. 配置server.properties文件,确保listenersadvertised.listeners指向正确的地址。
  3. 在任意一台服务器上生成集群ID
    /usr/local/kafka_2.12-3.6.2/bin/kafka-storage.sh random-uuid
    
  4. 在其他服务器上使用相同的集群ID启动Kafka服务

注意事项

以上步骤应该可以帮助你在Ubuntu上成功部署Kafka。如果在安装过程中遇到问题,请检查日志文件以获取更多信息。

0
看了该问题的人还看了