Kafka在Debian上的集群搭建

在Debian上搭建Kafka集群需要几个步骤，包括安装Java、Zookeeper，下载和配置Kafka，以及启动Kafka和Zookeeper服务。以下是详细的步骤：

1. 安装Java环境

Kafka是用Java编写的，因此首先需要安装Java运行环境。

sudo apt update
sudo apt install openjdk-8-jdk

验证Java安装：

java -version

2. 安装Zookeeper

Kafka使用Zookeeper进行集群管理和元数据存储。首先，确保在Debian上安装Zookeeper：

wget https://downloads.apache.org/zookeeper/stable/apache-zookeeper-3.7.0-bin.tar.gz
tar -xvzf apache-zookeeper-3.7.0-bin.tar.gz
cd apache-zookeeper-3.7.0-bin

编辑conf/zoo.cfg配置文件，设置以下配置项：

tickTime=2000
initLimit=5
syncLimit=2
dataDir=/var/lib/zookeeper
clientPort=2181
server.1=zk-node1:2888:3888
server.2=zk-node2:2888:3888
server.3=zk-node3:2888:3888

在每个Zookeeper节点上启动Zookeeper：

bin/zkServer.sh start

检查每个节点的状态：

bin/zkServer.sh status

3. 安装Kafka

下载并解压Kafka安装包：

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzf kafka_2.12-3.5.2.tgz
cd kafka_2.12-3.5.2

为每个Kafka broker创建配置文件server.properties，并修改以下内容：

broker.id=1  # 每个节点必须有唯一的Broker ID
listeners=PLAINTEXT://kafka-node1:9092  # 配置监听地址和端口
log.dirs=/var/lib/kafka/logs  # 存储Kafka日志的目录
zookeeper.connect=zk-node1:2181,zk-node2:2181,zk-node3:2181  # 配置Zookeeper集群地址

在每个Kafka节点上启动Kafka Broker：

bin/kafka-server-start.sh config/server.properties

4. 验证Kafka集群

使用以下命令列出当前Kafka集群中的所有Topic：

bin/kafka-topics.sh --list --zookeeper zk-node1:2181

5. 配置Kafka的高可用性（可选）

为了实现高可用性，你需要配置Kafka的分区和副本。例如，创建一个名为my-topic的Topic，包含3个分区和2个副本：

bin/kafka-topics.sh --create --topic my-topic --partitions 3 --replication-factor 3 --zookeeper zk-node1:2181

确保所有节点的防火墙允许Kafka和Zookeeper使用的端口通信。确保所有节点的/etc/hosts文件中配置了正确的IP地址和主机名映射。