ubuntu

Ubuntu Kafka集群怎么搭建

小樊
38
2025-04-06 09:37:03
栏目: 智能运维

在Ubuntu上搭建Kafka集群需要以下步骤:

准备工作

  1. 安装Java环境

    sudo apt update
    sudo apt install openjdk-11-jdk -y
    
  2. 开放端口: Kafka需要开放9092端口和9093端口,三台机器上都需开放这两个端口。

    sudo firewall-cmd --zone public --add-port 9092/tcp --permanent
    sudo firewall-cmd --zone public --add-port 9093/tcp --permanent
    sudo firewall-cmd --reload
    

下载和解压Kafka

下载预编译的Kafka二进制文件,例如Kafka 3.6.2版本。

wget https://downloads.apache.org/kafka/3.6.2/kafka_2.12-3.6.2.tgz
tar -xzf kafka_2.12-3.6.2.tgz
sudo mv kafka_2.12-3.6.2 /usr/local/kafka

配置Kafka

进入配置目录并编辑server.properties文件。

cd /usr/local/kafka/config/kraft
sudo vi server.properties

主要配置项包括:

创建KRaft集群

在任意一个节点上生成集群id。

/usr/local/kafka/bin/kafka-storage.sh random-uuid

然后在三台机器上执行以下命令完成集群元数据配置:

bin/kafka-storage.sh format -t [生成的字符串] -c config/kraft/server.properties

启动Kafka服务

在每台机器上启动Kafka服务:

cd /usr/local/kafka
sudo bin/kafka-server-start.sh -daemon config/kraft/server.properties

验证Kafka是否启动成功

使用以下命令检查Kafka broker是否在监听端口9092:

netstat -tulnp | grep 9092

通信测试

可以通过kafka-console-producer.shkafka-console-consumer.sh两个脚本进行测试。

创建测试主题

sudo /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.3.191:9092,192.168.3.192:9092,192.168.3.193:9092 --replication-factor 3 --partitions 1 --topic test-topic

列出主题

sudo /usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server 192.168.3.191:9092,192.168.3.192:9092,192.168.3.193:9092

生产消息

sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.3.191:9092,192.168.3.192:9092,192.168.3.193:9092 --topic test-topic

消费消息

sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.3.191:9092,192.168.3.192:9092,192.168.3.193:9092 --topic test-topic --from-beginning

注意事项

以上步骤可以帮助你在Ubuntu上成功搭建一个Kafka集群。如果在搭建过程中遇到问题,可以参考相关文档或社区支持。

0
看了该问题的人还看了