debian

Kafka集群在Debian上的搭建步骤

小樊
38
2025-06-04 19:41:46
栏目: 智能运维

在Debian上搭建Kafka集群需要以下步骤:

准备工作

  1. 安装JDK
wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz
tar -xf openjdk-11.0.2_linux-x64_bin.tar.gz
sudo mkdir /usr/lib/jvm
sudo mv jdk-11.0.2 /usr/lib/jvm/
sudo vim /etc/profile

在底部追加如下内容:

export JAVA_HOME=/usr/lib/jvm/jdk-11.0.2
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
  1. 创建Kafka持久化日志数据目录
sudo mkdir -p /data/kafka
sudo chown -R $(whoami):$(whoami) /data/kafka

安装Kafka

  1. 下载Kafka
cd /tools
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /usr/local/kafka
  1. 修改Kafka配置文件
# data-vm1节点
node.id=1
process.roles=broker,controller
listeners=plaintext://data-vm1:9092,controller://data-vm1:9093
advertised.listeners=plaintext://data-vm1:9092
controller.quorum.voters=data-vm1:9093,data-vm2:9093,data-vm3:9093
log.dirs=/data/kafka
num.partitions=3
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=data-vm1,data-vm2,data-vm3

服务器增加hosts

192.168.112.10 data-vm1
192.168.112.130 data-vm2
192.168.112.129 data-vm3

启动集群

  1. 启动Zookeeper(如果使用 Kraft 模式,可以跳过此步骤)
# 启动Zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh config/zookeeper.properties
  1. 启动Kafka Broker
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

测试Kafka集群

  1. 创建Topic
/usr/local/kafka/bin/kafka-topics.sh --create --topic test-topic --bootstrap-server data-vm1:9092 --replication-factor 3 --partitions 3
  1. 生产消息
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list data-vm1:9092 --topic test-topic
  1. 消费消息
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server data-vm1:9092 --topic test-topic --from-beginning

以上步骤应该可以帮助你在Debian上成功搭建一个Kafka集群。如果在搭建过程中遇到问题,请检查配置文件和日志文件以获取更多信息。

0
看了该问题的人还看了