要消费Kafka最新数据,可以使用kafka-python
库。下面是一个简单的示例代码:
from kafka import KafkaConsumer
# 配置Kafka连接信息
bootstrap_servers = 'localhost:9092' # Kafka服务器地址和端口号
topic = 'my_topic' # Kafka主题名称
group_id = 'my_group' # 消费者组ID
# 创建KafkaConsumer对象
consumer = KafkaConsumer(topic,
bootstrap_servers=bootstrap_servers,
group_id=group_id,
auto_offset_reset='latest')
# 消费最新数据
for message in consumer:
print(message.value)
在上面的代码中,首先需要配置Kafka的连接信息,包括Kafka服务器地址和端口号、主题名称和消费者组ID。然后,创建一个KafkaConsumer
对象,并指定要消费的主题、Kafka服务器地址、消费者组ID和auto_offset_reset
参数设置为'latest'
,表示从最新的偏移量开始消费。
最后,通过for
循环遍历消费者对象,打印每条消息的值。这样就可以消费Kafka的最新数据了。