Debian Kafka 集群搭建指南

在Debian系统上搭建Kafka集群需要以下几个步骤：

1. 安装前置环境

安装Java

首先，确保你的系统上已经安装了Java。推荐安装OpenJDK 8。

sudo apt update
sudo apt install openjdk-8-jdk
java -version

安装Zookeeper

下载并解压Zookeeper：

wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz
tar -zxvf zookeeper-3.6.1.tar.gz
sudo mv zookeeper-3.6.1 /opt/zookeeper

配置Zookeeper：

cd /opt/zookeeper
cp conf/zoo_sample.cfg conf/zoo.cfg

编辑zoo.cfg文件，配置Zookeeper集群：

server.1=zookeeper1:2888:3888
server.2=zookeeper2:2888:3888
server.3=zookeeper3:2888:3888

启动Zookeeper：

nohup ./bin/zookeeper-server-start.sh ../config/zoo.cfg >/dev/null 2>&1 &

2. 安装Kafka

下载Kafka安装包并解压：

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -zxvf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /opt/kafka

配置Kafka：

编辑server.properties文件，设置每个Kafka broker的broker.id，listeners和log.dirs等参数。例如：

kafka1:

broker.id=1
listeners=PLAINTEXT://:9093
log.dir=/tmp/kafka-logs-1
zookeeper.connect=zookeeper1:2181

kafka2:

broker.id=2
listeners=PLAINTEXT://:9094
log.dir=/tmp/kafka-logs-2
zookeeper.connect=zookeeper1:2181

kafka3:

broker.id=3
listeners=PLAINTEXT://:9095
log.dir=/tmp/kafka-logs-3
zookeeper.connect=zookeeper1:2181

启动Kafka集群：

cd /opt/kafka
sudo bin/kafka-server-start.sh config/server.properties
sudo bin/kafka-server-start.sh config/server-1.properties
sudo bin/kafka-server-start.sh config/server-2.properties

3. 验证Kafka集群

创建一个测试主题并验证Kafka集群是否正常工作：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-console-producer.sh --broker-list localhost:9093 --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic test --from-beginning

以上步骤应该可以帮助你在Debian上成功搭建一个Kafka集群。

请注意，具体的配置和步骤可能会因Kafka和Debian版本的不同而有所差异，建议在进行任何升级或配置更改之前，详细阅读Kafka和Debian的官方文档，并在测试环境中进行充分的测试。