Kafka集群在Debian上如何搭建

在Debian上搭建Kafka集群需要以下步骤：

前期准备

1. 准备至少三台虚拟机：用于部署Kafka集群。确保虚拟机上配置有SSH服务，以便进行免密登录。
2. 安装JDK：Kafka运行在JVM上，需要安装JDK。
3. 安装ZooKeeper：Kafka依赖ZooKeeper，需要安装ZooKeeper。

安装Kafka

1. 下载Kafka安装包：

cd /opt/
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz

2. 解压Kafka安装包：

tar -zxvf kafka_2.13-2.6.0.tgz
mv kafka_2.13-2.6.0 kafka

3. 创建存放Kafka消息的目录：

mkdir kafka-logs

4. 修改配置文件server.properties：

cd /opt/kafka/config/
vim server.properties

修改以下参数：

• broker.id=0
• listeners=PLAINTEXT://your_first_node_ip:9092
• log.dirs=/opt/kafka/kafka-logs
• zookeeper.connect=your_first_node_ip:2181,your_second_node_ip:2181,your_third_node_ip:2181

5. 分发Kafka安装目录到其他集群节点并修改broker.id为不一样的值：

scp -r /opt/kafka/ your_second_node_ip:/opt/
scp -r /opt/kafka/ your_third_node_ip:/opt/

在其他节点上修改server.properties文件中的broker.id为1和3。

6. 编写Kafka集群操作脚本，用于启动和停止Kafka集群：

• 导入java环境：

vim /etc/profile

添加如下内容（注意：填写自己的java安装目录）：

export JAVA_HOME=/usr/java/jdk1.8.0_131
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

• 创建kafka启动脚本：

vim kafka-cluster.sh

添加如下内容：

#!/bin/bash
case $1 in
    "start")
        for i in your_first_node your_second_node your_third_node
        do
            echo -------------------------------- $i kafka 启动 ---------------------------
            ssh $i "source /etc/profile; /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
        done
        ;;
esac

7. 赋予脚本执行权限：

chmod +x kafka-cluster.sh

8. 启动Kafka集群：

./kafka-cluster.sh start

9. 停止Kafka集群：

./kafka-cluster.sh stop

以上步骤应该可以帮助你在Debian上成功搭建Kafka集群。如果在执行过程中遇到问题，请检查网络配置、防火墙设置以及各个节点的配置文件是否正确。