Ubuntu Kafka配置参数详解

在Ubuntu上配置Kafka涉及多个步骤，包括安装Java和Zookeeper、配置Kafka、启动服务以及验证配置。以下是详细的步骤和配置文件的详解：

安装Java和Zookeeper

1. 安装Java：

   sudo apt update
   sudo apt install openjdk-8-jdk
   java -version
   

2. 安装Zookeeper：

   wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
   tar xvf zookeeper-3.4.6.tar.gz
   sudo mv zookeeper-3.4.6 /usr/local/zookeeper
   

3. 配置并启动Zookeeper： 编辑 /usr/local/zookeeper/conf/zoo.cfg 文件：

   sudo nano /usr/local/zookeeper/conf/zoo.cfg
   

   添加或修改以下行：

   dataDir /var/lib/zookeeper
   clientPort 2181
   

   启动Zookeeper服务：

   sudo /usr/local/zookeeper/bin/zkServer.sh start
   

配置Kafka

1. 下载并解压Kafka：

   wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
   tar -xzvf kafka_2.12-3.5.2.tgz
   sudo mv kafka_2.12-3.5.2 /usr/local/kafka
   

2. 编辑Kafka的配置文件 /usr/local/kafka/config/server.properties：

   • broker.id: Kafka broker的唯一标识符。
   • listeners: Kafka服务器监听的地址和端口。
   • advertised.listeners: 对外暴露的地址和端口。
   • log.dirs: Kafka日志存储的目录。
   • zookeeper.connect: Zookeeper的连接地址。

   示例配置：

   broker.id 0
   listeners PLAINTEXT://your_server_ip:9092
   advertised.listeners PLAINTEXT://your_server_ip:9092
   log.dirs /tmp/kafka-logs
   zookeeper.connect localhost:2181
   

启动Kafka服务

在配置文件目录中启动Kafka服务：

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

验证配置

1. 创建一个Kafka主题来验证配置是否生效：

   sudo /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
   

2. 启动Kafka生产者命令示例：

   sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
   

3. 启动Kafka消费者命令示例：

   sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
   

以上步骤和配置文件详解基于Ubuntu系统下的Kafka安装，具体路径和文件名可能会因不同的Kafka版本和安装方式有所差异。建议参考Kafka官方文档以获取最准确的配置信息。