kafka消费者centos如何配置 - 问答

在CentOS上配置Kafka消费者涉及几个步骤，包括安装Java（如果尚未安装）、下载和配置Kafka、以及编写和运行消费者代码。以下是详细的步骤指南：

1. 安装Java

Kafka需要Java运行时环境（JRE）或Java开发工具包（JDK）。你可以使用以下命令安装OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

验证安装：

java -version

2. 下载和配置Kafka

下载Kafka：你可以从Apache Kafka的官方网站下载最新版本的Kafka。使用以下命令下载并解压：

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0

启动Zookeeper和Kafka服务器： Kafka使用Zookeeper进行集群管理。首先启动Zookeeper：
```
bin/zookeeper-server-start.sh config/zookeeper.properties
```
然后在另一个终端启动Kafka服务器：
```
bin/kafka-server-start.sh config/server.properties
```

3. 创建主题

在启动消费者之前，你需要创建一个Kafka主题。使用以下命令创建一个名为test-topic的主题：

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

4. 编写消费者代码

你可以使用Java编写一个简单的Kafka消费者。以下是一个示例代码：

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class SimpleConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.setProperty("bootstrap.servers", "localhost:9092");
        props.setProperty("group.id", "test-group");
        props.setProperty("enable.auto.commit", "true");
        props.setProperty("auto.commit.interval.ms", "1000");
        props.setProperty("key.deserializer", StringDeserializer.class.getName());
        props.setProperty("value.deserializer", StringDeserializer.class.getName());

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("test-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                records.forEach(record -> {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                });
            }
        } finally {
            consumer.close();
        }
    }
}

5. 编译和运行消费者代码

将上述代码保存为SimpleConsumer.java，然后使用以下命令编译和运行：

javac -cp kafka-clients-2.8.0.jar SimpleConsumer.java
java -cp .:kafka-clients-2.8.0.jar SimpleConsumer

确保kafka-clients-2.8.0.jar在你的类路径中。你可以从Kafka的libs目录中找到这个JAR文件。

6. 验证消费者

在另一个终端中，使用Kafka生产者发送一些消息到test-topic：

bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

输入一些消息并按回车键发送。你应该会在消费者终端中看到这些消息。

通过以上步骤，你就可以在CentOS上成功配置和运行一个Kafka消费者。

0 赞

0 踩