kafka在ubuntu上的部署步骤

在Ubuntu上部署Apache Kafka的步骤如下：

环境准备

• 系统：Ubuntu
• 用户：建议使用具有sudo权限的用户
• 安装包：下载适合Ubuntu版本的Kafka安装包，例如 kafka_2.11-2.4.1.tgz，下载地址：Apache Kafka官方下载页面

安装与配置Kafka

1. 解压安装包

   • 进入安装包目录，解压到系统路径 /usr/local：

     cd ~/soft
     sudo tar -zxf kafka_2.11-2.4.1.tgz -C /usr/local/
     

2. 创建符号链接

   • 简化后续操作路径，创建软链接：

     cd /usr/local
     sudo ln -s kafka_2.11-2.4.1/ kafka
     

3. 修改目录权限

   • 避免权限冲突，将Kafka目录所有者设为当前用户：

     sudo chown spark:spark -R kafka_2.11-2.4.1/
     

启动Zookeeper服务

Kafka依赖Zookeeper管理集群元数据。启动服务：

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties & jps

验证Zookeeper是否启动成功，使用 jps命令检查进程，出现 QuorumPeerMain即表示成功。

启动Kafka服务

在新终端中启动Kafka，并验证服务状态：

cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties &
jps

输出应包含 Kafka 和 QuorumPeerMain。

创建Topic与消息生产/消费

1. 创建Topic

   • 创建名为 mytopic的主题（单分区、单副本）：

     bin/kafka-topics.sh --create \
       --zookeeper localhost:2181 \
       --replication-factor 1 \
       --partitions 1 \
       --topic mytopic
     

2. 查看Topic列表

   • 列出所有Topic以确认新Topic已创建：

     bin/kafka-topics.sh --list --zookeeper localhost:2181
     

3. 启动生产者发送消息

   • 向 mytopic发送消息（输入内容后按Ctrl+C退出）：

     bin/kafka-console-producer.sh \
       --broker-list localhost:9092 \
       --topic mytopic
     

   • 输入示例：

     > hello
     > spark
     > bye
     

4. 启动消费者接收消息

   • 在新终端中启动消费者，并指定从最早消息开始消费：

     cd /usr/local/kafka
     bin/kafka-console-consumer.sh \
       --bootstrap-server localhost:9092 \
       --topic mytopic \
       --from-beginning
     

   • 输出示例（显示历史消息）：

     hello
     spark
     bye
     

结合Netcat模拟实时数据流（可选）

1. 启动Netcat服务端

   • 监听本地9999端口，输入测试数据：

     nc -lk 9999
     

   • 输入示例：

     hello
     hello world
     see you la la
     

2. 验证Netcat连接（可选）

   • 新终端中连接Netcat服务端，确认数据可接收：

     nc localhost 9999
     

常见问题与解决

• 权限不足
  • 确保Kafka目录所有权已修改（见步骤1.3）。
• 进程未启动
  • 检查命令末尾是否添加了 &以后台运行服务。

以上步骤应该可以帮助你在Ubuntu上成功安装并运行Apache Kafka。如果在安装过程中遇到问题，请检查日志文件以获取更多信息。