Kafka在Debian上的部署流程是什么

在Debian上部署Kafka的流程如下：

准备工作

1. 安装JDK 1.8+

   • 下载JDK 8的安装包并解压到指定目录，例如/app/software/jdk1.8.0_441。
   • 创建安装目录/app/server并解压JDK。
   • 创建软链接ln -s /app/server/jdk1.8.0_441 /app/server/jdk。
   • 配置环境变量：

     vim ~/.bash_profile
     

     在~/.bash_profile文件末尾添加：

     export JAVA_HOME=/app/server/jdk
     export PATH=$PATH:$JAVA_HOME/bin
     

     使配置生效：

     source ~/.bash_profile
     

   • 验证安装：

     java -version
     

2. 下载并解压Kafka

   • 从Kafka官网下载对应版本的Kafka安装包。
   • 解压到指定目录，例如/app/kafka。

集群部署步骤（适用于多节点集群）

1. 生成集群ID

   • 在每个节点上生成唯一的集群ID：

     kafka_cluster_id="$(bin/kafka-storage.sh random-uuid)"
     

   • 可以根据业务场景自定义设置集群ID。

2. 数据目录格式化

   • 在所有集群节点上根据对应的集群ID进行数据目录格式化：

     bin/kafka-storage.sh format --standalone -t $kafka_cluster_id -c config/server.properties
     

3. 修改配置文件

   • 编辑每个节点的config/server.properties文件，确保以下配置正确：

     process.roles=broker,controller
     controller.quorum.bootstrap.servers=node1:9093,node2:9093,node3:9093
     advertised.listeners=plaintext://node1:9092,node2:9092,node3:9092
     node.id=unique_id_for_each_node
     

4. 启动Kafka服务

   • 在每个节点上启动Kafka服务器：

     bin/kafka-server-start.sh config/server.properties
     

单机部署步骤（适用于学习和测试）

1. 启动Zookeeper（如果使用 Kraft 模式）

   • Kafka 4.0 及以上版本可以通过 Kraft 模式运行，简化了Zookeeper的管理。
   • 启动Zookeeper服务：

     bin/zookeeper-server-start.sh config/zookeeper.properties
     

2. 启动Kafka Broker

   • 启动Kafka Broker服务：

     bin/kafka-server-start.sh config/server.properties
     

3. 创建和启动Topic

   • 创建Topic：

     bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1
     

4. 生产者和消费者测试

   • 生产者发送消息：

     bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic
     

   • 消费者消费消息：

     bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning