Kafka在Debian上如何部署

在Debian上部署Kafka的步骤如下：

1. 安装Java运行环境

Kafka是用Java编写的，因此首先需要在Debian上安装Java运行环境。

# 下载JDK 8（根据你的需要选择合适的版本）
wget https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html#8173_jdk-8uXXX-linux-x64-bin.tar.gz

# 解压JDK安装包
sudo tar -zxvf jdk-8uXXX-linux-x64.tar.gz -C /usr/local

# 设置JAVA_HOME环境变量
echo "export JAVA_HOME=/usr/local/jdk1.8.0_XXX" >> /etc/profile
echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile

# 使环境变量生效
source /etc/profile

验证Java安装：

java -version

2. 下载Kafka

从Apache Kafka官网下载最新版本的Kafka：Kafka下载页面

例如，下载kafka_2.13-3.9.0.tgz。

3. 解压Kafka

wget https://downloads.apache.org/kafka/2.13.0/kafka_2.13-3.9.0.tgz
tar -xzf kafka_2.13-3.9.0.tgz
cd kafka_2.13-3.9.0

4. 配置Zookeeper（如果使用）

Kafka依赖于Zookeeper。你可以选择使用自带的Zookeeper或者自己下载并配置Zookeeper。

使用自带的Zookeeper

修改config/zookeeper.properties文件：

dataDir=/tmp/zookeeper
clientPort=2181

启动Zookeeper：

bin/zookeeper-server-start.sh config/zookeeper.properties

使用自定义的Zookeeper

下载并解压Zookeeper：

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/zookeeper-3.8.0.tar.gz
tar -xzf zookeeper-3.8.0.tar.gz
cd zookeeper-3.8.0

配置Zookeeper：

编辑conf/zoo.cfg文件：

dataDir=/data/zookeeper
clientPort=2181
server.1=localhost:2801
server.2=localhost:2802
server.3=localhost:2803

启动Zookeeper：

bin/zkServer.sh start

5. 配置Kafka

编辑Kafka的config/server.properties文件：

broker.id=1
listeners=PLAINTEXT://your_server_ip:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=3
default.replication.factor=3
offsets.topic.replication.factor=3
num.recovery.threads.per.data.dir=1
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
group.initial.rebalance.delay.ms=0

6. 启动Kafka

启动Kafka服务器：

bin/kafka-server-start.sh config/server.properties

7. 验证Kafka是否启动成功

使用以下命令检查Kafka是否正在运行：

ss -tnlp | grep 9092

或者查看Kafka的日志文件：

tail -f /tmp/kafka-logs/server.log

8. 常用命令总结

• 查看所有Topic：

./kafka-topics.sh --zookeeper localhost:2181 --list

• 创建Topic：

./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --replication-factor 3 --partitions 3

• 查看Topic详情：

./kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

以上步骤应该可以帮助你在Debian上成功部署Kafka。如果在部署过程中遇到任何问题，请参考Kafka官方文档或相关社区资源。