在Ubuntu上搭建Kafka集群涉及多个步骤,包括安装和配置Kafka以及Zookeeper。以下是详细的步骤指南:
在主机node1、node2和node3上部署Zookeeper。
从Apache Zookeeper官网下载Zookeeper 3.5.7版本,并在node1服务器解压到/export/server
目录下,重命名为zookeeper-3.5.7
。
在/export/server/zookeeper-3.5.7
目录下创建zkData
目录,并在其中创建一个名为myid
的文件,文件内容为节点编号(例如,node1为1,node2为2,node3为3)。
/export/server/zookeeper-3.5.7/conf
目录下的zoo_sample.cfg
为zoo.cfg
。zoo.cfg
文件,配置数据存储路径和集群服务器信息:dataDir=/opt/module/zookeeper-3.5.7/zkData
server.1=node1_ip:2888:3888
server.2=node2_ip:2888:3888
server.3=node3_ip:2888:3888
zoo.cfg
文件复制到node2和node3服务器。在每台服务器上进入bin
目录,分别执行以下命令启动Zookeeper:
./zkServer.sh start
./zkServer.sh status
检查状态,确保两台为Follower,一台为Leader,集群安装成功。
在主机node1、node2和node3上部署Kafka。
从Apache Kafka官网下载Kafka 2.12-3.0.0版本,并在node1服务器解压到/export/server
目录下,重命名为kafka-3.0.0
。
进入/export/server/kafka-3.0.0/config
目录,编辑server.properties
文件,配置以下内容:
broker.id
:每个节点的唯一编号(例如,node1为1,node2为2,node3为3)。log.dirs
:Kafka日志存放路径(例如,/export/server/kafka-3.0.0/datas
)。zookeeper.connect
:Zookeeper集群地址(例如,node1_ip:2181
)。在每台服务器上进入bin
目录,分别执行以下命令启动Kafka:
./kafka-server-start.sh config/server.properties
使用Kafka提供的命令行工具验证集群状态:
./kafka-topics.sh --list --bootstrap-server node1_ip:9092
通过以上步骤,你可以在Ubuntu上成功搭建一个Kafka集群。如果有任何问题,请参考官方文档或相关社区资源。