在Linux上选择Kafka分区策略时，需结合生产/消费需求、数据特性及集群规模，核心策略及适用场景如下：
一、生产者分区策略
- DefaultPartitioner（默认）
- 有Key时用Murmur2哈希取模分区，无Key时轮询分区，保证相同Key消息有序。
- 适用场景：需保证消息局部有序（如订单流水、用户行为日志）。
- StickyPartitioner
- 优先填充当前分区，满后再切换，减少分区切换开销，提升批处理效率。
- 适用场景：高吞吐量写入场景（如实时数据采集），需减少网络碎片。
- RoundRobinPartitioner
- 无Key时均匀轮询分区，保证负载均衡。
- 适用场景：无顺序要求的场景（如监控指标采集）。
- 自定义策略
- 通过实现
Partitioner接口，按业务逻辑（如地域、优先级）分配分区。
二、消费者分区分配策略
- RangeAssignor（默认）
- 按Topic分区数和消费者数整除分配，同一Topic分区尽量集中在少数消费者，适合顺序消费。
- 缺点：消费者订阅多个Topic时可能负载不均。
- RoundRobinAssignor
- 跨Topic轮询分配分区，均衡消费者负载，适合消费者订阅Topic多样化的场景。
- 缺点：消费者增减时需重新分配所有分区，可能引发频繁Rebalance。
- StickyAssignor
- 在保证负载均衡的同时，尽量保留历史分区分配，减少Rebalance时的分区迁移。
- 适用场景：消费者动态变化的场景（如弹性扩缩容），需降低Rebalance开销。
- CooperativeStickyAssignor
- 增强版Sticky策略，采用渐进式Rebalance，每次仅调整少量分区，进一步减少服务中断。
三、选择建议
| 场景 |
生产者策略 |
消费者策略 |
| 顺序敏感型业务（如订单） |
Key-Hash（保证相同Key同分区） |
Range（集中分配，顺序消费） |
| 高吞吐量场景（如实时日志） |
Sticky（减少分区切换） |
Sticky/CooperativeSticky（降低Rebalance开销） |
| 消费者动态变化（如微服务） |
RoundRobin（无Key时均衡） |
RoundRobin/Sticky（均衡负载+减少Rebalance） |
| 多Topic订阅 |
按业务Key分区 |
RoundRobin（均衡跨Topic负载） |
四、配置方法
- 生产者：通过
partitioner.class参数指定策略类（如org.apache.kafka.clients.producer.RoundRobinPartitioner）。
- 消费者：通过
partition.assignment.strategy参数配置（如org.apache.kafka.clients.consumer.StickyAssignor）。
参考来源：