kafka poll 怎样实现

Kafka Poll 是 Kafka 消费者 API 中的一个关键功能，它允许消费者从 Kafka 主题中拉取消息。以下是一个简单的示例，展示了如何使用 Java 编写一个 Kafka 消费者，并使用 poll() 方法从主题中获取消息：

1. 首先，确保你已经添加了 Kafka 客户端依赖到你的项目中。如果你使用的是 Maven，可以在 pom.xml 文件中添加以下依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.0</version>
</dependency>

2. 创建一个 Kafka 消费者实例，并指定 Kafka 代理地址、消费者组 ID 和主题名称：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaPollExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("test-topic"));
    }
}

3. 使用 poll() 方法从主题中获取消息：

import org.apache.kafka.clients.consumer.ConsumerRecords;

public class KafkaPollExample {
    // ... 其他代码 ...

    public static void main(String[] args) {
        // ... 创建消费者实例和订阅主题 ...

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

在这个示例中，我们创建了一个 Kafka 消费者实例，并订阅了名为 “test-topic” 的主题。然后，我们使用一个无限循环来不断地调用 poll() 方法，每次调用都会等待最多 100 毫秒。当 poll() 方法返回时，它会返回一个包含从主题中拉取的消息的 ConsumerRecords 对象。我们可以遍历这个对象，并打印出每条消息的偏移量、键和值。

注意：在实际应用中，你可能需要根据业务需求对代码进行调整，例如处理异常、提交偏移量等。