Kafka主题配置主要涉及创建、修改、删除及参数设置,以下是核心操作和关键参数:
创建主题
使用kafka-topics.sh工具,指定分区数(--partitions)、副本因子(--replication-factor)等参数,例如:
bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 3 --bootstrap-server localhost:9092
修改主题
--alter命令增加分区数(不能减少),需重新分配数据。cleanup.policy(保留策略,delete或compact)、retention.ms(保留时间)等。删除主题
使用--delete命令,需确保delete.topic.enable=true(默认false),例如:
bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server localhost:9092
查看主题
--list--describe关键参数说明
| 参数 | 含义 | 示例 |
|---|---|---|
partitions |
分区数,决定并行处理能力,建议为消费者数量的整数倍 | --partitions 5 |
replication-factor |
副本数,保障数据冗余,生产环境建议≥3,不超过Broker数量 | --replication-factor 3 |
cleanup.policy |
日志清理策略,delete(按时间/大小删除)或compact(压缩保留键值) |
--config cleanup.policy=compact |
retention.ms |
消息保留时间(毫秒),默认7天 | --config retention.ms=86400000 |
注意事项
auto.create.topics.enable=false),手动管理主题配置。参考来源: