Kafka配置中的日志清理策略
Kafka的日志清理策略用于管理磁盘空间占用，通过定期清理过期或冗余数据，确保系统性能与存储资源的合理利用。Kafka提供**删除策略（Delete）和压缩策略（Compaction）**两种核心清理方式，支持单独或组合使用，同时可通过时间、大小、起始偏移量等多维度触发清理。
删除策略是最基础的清理方式，通过时间、大小或起始偏移量三个维度判断日志分段的保留价值，触发后直接删除旧数据。
log.retention.ms（毫秒，优先级最高）、log.retention.minutes（分钟）、log.retention.hours（小时，默认168小时/7天）配置消息保留时长。当消息的最新时间戳超过阈值时，对应日志分段会被标记为删除。log.retention.bytes配置每个分区的最大存储空间（默认-1，表示无限制）。当分区总大小超过阈值时，从最早的分段开始删除，直到剩余空间满足要求。nextOffset）小于等于当前分区的logStartOffset（如消费者组的消费进度），则该分段会被删除。此策略用于清理已被消费且无需保留的历史数据。压缩策略适用于需要保留每个键（Key）最新值的场景（如数据库变更日志、状态更新），通过后台Cleaner线程池实现。其工作流程如下：
log.cleaner.min.cleanable.ratio阈值的段）；需通过log.cleanup.policy=compact启用，并开启log.cleaner.enable=true（默认开启）。
Kafka允许同时使用删除与压缩策略（如log.cleanup.policy=delete,compact），兼顾数据新鲜度与存储效率。关键配置参数如下：
log.cleanup.policy：设置清理策略，可选delete（默认）、compact或delete,compact；log.retention.check.interval.ms：日志清理任务检查间隔，默认300,000毫秒（5分钟）；log.segment.bytes：每个日志分段的大小（默认1GB），分段越小，清理粒度越细，但会增加管理开销；log.cleaner.threads：清理线程数量（默认1），可根据CPU核心数调整以提高压缩效率；log.cleaner.interval.ms：清理线程运行间隔（默认60,000毫秒/1分钟），控制压缩任务的执行频率。log.retention.ms=3600000，1小时）或减小保留大小（如log.retention.bytes=1073741824，1GB）可能导致数据丢失，需根据业务重要性权衡；log.flush.interval.ms=1000，1秒）或压缩任务会增加磁盘IO负载，建议在高吞吐场景下适当调整；