Ubuntu Kafka如何进行集群配置

在Ubuntu上配置Kafka集群涉及多个步骤，包括安装Java、Zookeeper和Kafka本身，配置它们，然后启动服务。以下是一个详细的步骤指南：

环境准备

1. 安装Java环境：

   sudo apt update
   sudo apt install openjdk-8-jdk
   java -version
   

   验证Java安装成功后，可以设置 JAVA_HOME 环境变量：

   echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> ~/.bashrc
   source ~/.bashrc
   echo $JAVA_HOME
   

2. 安装Zookeeper：

   下载并解压Zookeeper：

   wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
   tar -xzvf apache-zookeeper-3.7.0-bin.tar.gz
   sudo mv apache-zookeeper-3.7.0 /opt/zookeeper
   

   配置Zookeeper：

   编辑 /opt/zookeeper/conf/zoo.cfg 文件，设置数据和日志存储路径以及客户端连接端口：

   dataDir /opt/zookeeper/data
   clientPort 2181
   

   启动Zookeeper：

   /opt/zookeeper/bin/zkServer.sh start
   

   验证Zookeeper是否启动成功：

   sudo netstat -nap | grep 2181
   

3. 安装Kafka：

   下载并解压Kafka：

   wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
   tar -xzvf kafka_2.13-2.8.0.tgz -C /usr/local
   

   创建Kafka目录和日志目录：

   sudo mkdir -p /tmp/kafka-logs
   

   配置Kafka：

   进入Kafka的配置目录 /usr/local/kafka_2.13-2.8.0/config，编辑 server.properties 文件，设置以下关键配置项：

   log.dirs=/usr/local/kafka/data/kafka
   zookeeper.connect=localhost:2181
   

   启动Kafka：

   sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
   

   验证Kafka是否启动成功：

   sudo netstat -nap | grep 9092
   

4. 创建和测试Topic：

   创建一个测试Topic：

   sudo /usr/local/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
   

   列出所有Topic以确认新Topic已创建：

   sudo /usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
   

   生产者和消费者测试：

   启动Kafka生产者：

   sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
   

   启动Kafka消费者：

   sudo /usr/local/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
   

   在生产者的终端输入消息后，消费者终端会显示这些消息，以验证配置是否成功。

请注意，以上步骤是基于特定版本的Kafka和Zookeeper，具体版本可能有所不同。建议查阅官方文档以获取适用于你所使用版本的详细配置指南。