怎样在Debian上部署Kafka集群

在Debian上部署Kafka集群需要一些步骤，以下是详细的指南：

准备工作

1. 硬件需求：

• 至少三台服务器用于构建一个基本的高可用性Kafka集群。
• 建议使用多核处理器、大内存容量和快速的存储设备。

2. 软件组件的选型与版本选择：

• 选择最新的稳定版本的Apache Kafka。
• 安装JDK 8/11/16，推荐使用官方推荐的版本。

安装步骤

1. 安装JDK：

sudo apt update
sudo apt install openjdk-8-jdk

验证安装：

java -version

2. 下载并解压Kafka：

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -zvxf kafka_2.12-3.5.2.tgz
cd kafka_2.12-3.5.2

3. 配置环境变量：

在/etc/profile文件最下方添加如下两行命令：

export KAFKA_HOME=/path/to/kafka
export PATH=$PATH:$KAFKA_HOME/bin

使配置生效：

source /etc/profile

4. 启动Zookeeper：

在任意一台服务器上启动Zookeeper：

./zookeeper-server-start.sh ../config/zookeeper.properties

5. 配置Kafka Broker：

在每台服务器上修改server.properties文件：

broker.id=0
zookeeper.connect=192.168.11.59:2181

启动Kafka Broker：

./kafka-server-start.sh ../config/server.properties

6. 验证安装：

使用以下命令查看Kafka是否启动成功：

lsof -i:9092

配置Kafka集群

1. 修改broker.id和listeners：

在每台服务器上修改server.properties文件，确保每台服务器的broker.id和listeners配置不同。

2. 配置Zookeeper连接：

确保所有服务器的zookeeper.connect配置正确，指向Zookeeper的地址。

启动集群

1. 依次启动所有节点：

按照服务器的主机名顺序依次启动Zookeeper和Kafka Broker。

2. 验证集群状态：

使用以下命令查看Kafka集群状态：

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --describe

常用命令

• 创建主题：

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --create --topic my-topic --partitions 3 --replication-factor 2

• 查看主题列表：

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --list

• 消费消息：

./kafka-console-consumer.sh --bootstrap-server 192.168.11.59:9092 --topic my-topic --from-beginning

• 生产消息：

./kafka-console-producer.sh --bootstrap-server 192.168.11.59:9092 --topic my-topic