Kafka 消费者组是一种机制,用于将来自一个主题的消息分发给多个消费者。要配置 Kafka 消费者组,您需要在创建消费者时设置 group.id
属性。这个属性将消费者分配到一个特定的消费者组。以下是使用 Java 客户端库配置消费者组的示例:
pom.xml
文件中添加以下依赖项:<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.8.0</version>
</dependency>
group.id
属性。例如:import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;
public class KafkaConsumerExample {
public static void main(String[] args) {
// 设置消费者属性
Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-consumer-group");
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
// 创建 Kafka 消费者实例
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
// 订阅主题
consumer.subscribe(Collections.singletonList("my-topic"));
// 持续轮询并处理消息
while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
for (ConsumerRecord<String, String> record : records) {
System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
}
}
}
在这个示例中,我们创建了一个 Kafka 消费者实例,并设置了 group.id
为 “my-consumer-group”。然后,我们将消费者订阅到名为 “my-topic” 的主题。消费者组中的所有消费者将共同消费这个主题的消息。
请注意,您需要根据实际情况修改 BOOTSTRAP_SERVERS_CONFIG
、GROUP_ID_CONFIG
、KEY_DESERIALIZER_CLASS_CONFIG
、VALUE_DESERIALIZER_CLASS_CONFIG
和 ENABLE_AUTO_COMMIT_CONFIG
等属性值。