kafka

kafka client如何配置消费者组

小樊
86
2024-12-21 03:45:45
栏目: 大数据

Kafka 消费者组是一种机制,用于将来自一个主题的消息分发给多个消费者。要配置 Kafka 消费者组,您需要在创建消费者时设置 group.id 属性。这个属性将消费者分配到一个特定的消费者组。以下是使用 Java 客户端库配置消费者组的示例:

  1. 首先,确保您已经添加了 Kafka 客户端依赖项到您的项目中。如果您使用的是 Maven,可以在 pom.xml 文件中添加以下依赖项:
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.0</version>
</dependency>
  1. 然后,创建一个 Kafka 消费者实例,并设置 group.id 属性。例如:
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        // 设置消费者属性
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-consumer-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        // 创建 Kafka 消费者实例
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 订阅主题
        consumer.subscribe(Collections.singletonList("my-topic"));

        // 持续轮询并处理消息
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

在这个示例中,我们创建了一个 Kafka 消费者实例,并设置了 group.id 为 “my-consumer-group”。然后,我们将消费者订阅到名为 “my-topic” 的主题。消费者组中的所有消费者将共同消费这个主题的消息。

请注意,您需要根据实际情况修改 BOOTSTRAP_SERVERS_CONFIGGROUP_ID_CONFIGKEY_DESERIALIZER_CLASS_CONFIGVALUE_DESERIALIZER_CLASS_CONFIGENABLE_AUTO_COMMIT_CONFIG 等属性值。

0
看了该问题的人还看了