Kafka复制中的消息过期与清理策略

在Kafka中，消息过期与清理策略是确保集群高效运行的关键组成部分。这些策略帮助控制消息存储空间的使用，防止数据无限增长，同时保证消息的可靠性和系统的性能。以下是关于Kafka复制中的消息过期与清理策略的相关信息：

消息过期策略

• 基于时间：通过设置消息的时间戳和主题的保留时间来控制消息的过期。当消息的时间戳超过主题的保留时间时，消息将被删除。
• 基于大小：除了基于时间，还可以根据主题分区的大小来决定消息的保留时间。当分区大小超过预设阈值时，较早的消息将被删除。

消息清理策略

• 删除策略（delete）：默认策略，当segment的大小或时间达到阈值后直接删除。
• 压缩策略（compact）：基于key的压缩策略，绑定同一个key的多个消息将仅保留最新的那个消息，其他消息将被删除。这种策略适用于关注key的终态value的场景，如记录用户每日的行走步数或账户余额。
• 混合策略（delete + compact）：老的segment会因为大小或时间被删除，同时topic partition也会被compact。这种策略适用于需要同时考虑时间和空间效率的场景。

配置参数

• log.retention.hours：消息保留的时间，默认取值为168，即保留一个星期。
• log.retention.bytes：topic partition中最多保留的消息大小，默认取值-1，即不做大小限制。
• log.retention.check.interval.ms："kafka-log-retention"任务的执行间隔，默认取值300000，即5分钟。
• log.cleaner.enable：是否开启log cleaner，默认情况下，从0.9.0.1版本开始默认即为true。

通过合理配置这些策略和参数，Kafka可以有效地管理消息存储，确保系统的高效运行。