在 Debian 系统上管理 Kafka 主题,你需要遵循以下步骤:
安装 Java: Kafka 需要 Java 运行环境,通常是 Java 8 或 Java 11。你可以使用以下命令安装 OpenJDK:
sudo apt update
sudo apt install openjdk-11-jdk
安装完成后,验证 Java 是否正确安装:
java -version
下载并安装 Kafka:
你可以从 Kafka 官方网站下载最新版本的 Kafka。使用 wget
命令下载并解压:
wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0
为了方便管理,你可以创建一个符号链接:
sudo ln -s kafka_2.13-3.2.0 /opt/kafka
启动 Zookeeper 和 Kafka Server: Kafka 使用 Zookeeper 来管理集群和主题。首先启动 Zookeeper:
bin/zookeeper-server-start.sh config/zookeeper.properties
然后在另一个终端中启动 Kafka 服务器:
bin/kafka-server-start.sh config/server.properties
为了方便,你可以使用 screen
或 tmux
在后台运行这些进程。
创建 Kafka 主题: 使用以下命令创建一个新的 Kafka 主题:
bin/kafka-topics.sh --create --topic your_topic_name --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1
替换 your_topic_name
为你想要的主题名称。
查看 Kafka 主题列表: 要列出所有可用的 Kafka 主题,使用以下命令:
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
删除 Kafka 主题: 如果你需要删除一个主题,可以使用以下命令:
bin/kafka-topics.sh --delete --topic your_topic_name --bootstrap-server localhost:9092
注意:只有当主题没有被任何 broker 使用时,才能删除它。
管理 Kafka 主题配置: 你可以修改现有主题的配置,例如增加分区数量或更改复制因子:
bin/kafka-topics.sh --alter --topic your_topic_name --bootstrap-server localhost:9092 --partitions 3
更改配置项的命令如下:
bin/kafka-configs.sh --entity-type topics --entity-name your_topic_name --alter --add-config config_name=config_value --bootstrap-server localhost:9092
请记住,这些步骤假设 Kafka 集群只运行在本地机器上,并且使用默认端口 9092。如果你的 Kafka 集群配置不同,你需要相应地调整命令中的参数。此外,生产环境中通常会有多个 broker 和更复杂的配置,这些步骤仅适用于基本的本地测试和开发环境。