Ubuntu Kafka配置步骤全解析

在Ubuntu上配置Kafka涉及多个步骤，包括安装Java环境、下载和解压Kafka、配置Zookeeper和Kafka、启动服务以及验证配置。以下是详细的步骤：

1. 安装Java环境

首先，确保你的系统上已经安装了Java。你可以使用以下命令来安装OpenJDK 8：

sudo apt update
sudo apt install openjdk-8-jdk

安装完成后，验证Java是否安装成功：

java -version

2. 安装Zookeeper

Kafka依赖于Zookeeper进行集群管理和元数据存储。以下是安装和配置Zookeeper的步骤：

• 下载Zookeeper安装包：

  wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/zookeeper-3.8.0.tar.gz
  

• 解压安装包：

  tar -xzvf zookeeper-3.8.0.tar.gz
  

• 移动Zookeeper文件夹：

  sudo mv zookeeper-3.8.0 /usr/local/zookeeper
  

• 配置Zookeeper：

  进入Zookeeper的安装目录/usr/local/zookeeper/conf，复制zoo_sample.cfg为zoo.cfg：

  sudo cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
  

  编辑zoo.cfg文件，设置以下参数：

  tickTime=2000
  dataDir=/var/lib/zookeeper
  clientPort=2181
  

• 启动Zookeeper：

  sudo /usr/local/zookeeper/bin/zkServer.sh start
  

• 验证Zookeeper是否启动成功：

  sudo netstat -nap | grep 2181
  

3. 安装Kafka

• 下载Kafka安装包：

  wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
  

• 解压Kafka安装包：

  tar -xzvf kafka_2.12-3.5.2.tgz
  

• 移动Kafka文件夹：

  sudo mv kafka_2.12-3.5.2 /usr/local/kafka
  

• 创建Kafka日志目录：

  sudo mkdir /tmp/kafka-logs
  

4. 配置Kafka

进入Kafka的安装目录/usr/local/kafka，编辑server.properties文件，设置以下参数：

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181

5. 配置环境变量

编辑/etc/profile文件，添加Kafka和Zookeeper的环境变量：

export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

使环境变量生效：

source /etc/profile

6. 启动Kafka和Zookeeper

• 启动Zookeeper：

  sudo /usr/local/zookeeper/bin/zkServer.sh start
  

• 启动Kafka：

  sudo /usr/local/kafka/bin/kafka-server-start.sh config/server.properties
  

7. 验证配置

• 创建一个测试Topic：

  sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
  

• 列出所有Topic以确认新Topic已创建：

  sudo /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
  

• 启动生产者发送消息：

  sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  

• 启动消费者接收消息：

  sudo /usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
  

8. 防火墙配置

如果使用防火墙，确保开放Kafka和Zookeeper的端口（默认9092和2181）：

sudo ufw allow 2181
sudo ufw allow 9092

9. 日志管理

定期检查Kafka日志文件，确保没有异常情况发生。日志文件通常位于/tmp/kafka-logs目录下。

10. 安全性配置

在生产环境中，建议配置SSL/TLS加密和认证机制，以增强Kafka的安全性。