在Debian上搭建Kafka集群需要以下步骤:
sudo apt update
sudo apt install openjdk-11-jdk
java -version
sudo apt install zookeeperd
从Apache Kafka官方网站下载最新版本的Kafka源码包,例如Kafka 3.5.2版本。
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -zxvf kafka_2.12-3.5.2.tgz
cd kafka_2.12-3.5.2
编辑/etc/profile
文件,添加Kafka的安装目录和命令文件所在目录到环境变量中。
export KAFKA_HOME=/path/to/kafka_2.12-3.5.2
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
在Kafka源码目录下的bin
文件夹中,启动Zookeeper和Kafka服务器。
./bin/zookeeper-server-start.sh config/zookeeper.properties
./bin/kafka-server-start.sh config/server.properties
broker.id
、listeners
、advertised.listeners
、log.dirs
、zookeeper.connect
等参数。使用以下命令验证Kafka是否成功启动:
./bin/kafka-topics.sh --list --bootstrap-server localhost:9092
./bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1
使用Kafka自带的命令行工具或第三方监控工具(如Kafka Manager、Prometheus、Grafana等)来监控和管理Kafka集群的状态和性能。
以上步骤是基于Kafka 3.5.2版本的安装流程,如果需要安装其他版本的Kafka,可以参考官方文档或者下载对应版本的源码包进行编译安装。