CentOS下Kafka的日志清理策略主要有以下两种,通过配置文件server.properties设置:
删除策略(默认)
按时间或大小删除旧日志段,配置参数包括:
log.retention.hours:保留时间(小时,默认168小时/7天)。log.retention.bytes:保留大小(字节,默认-1无限制)。log.retention.check.interval.ms:检查间隔(毫秒,默认300000/5分钟)。压缩策略
仅保留每个Key的最新消息,删除旧版本,适用于需要更新数据的场景(如用户配置),配置参数:
log.cleanup.policy=compact:启用压缩策略。log.cleaner.enable=true:开启清理器(默认true)。混合策略:可同时配置删除和压缩(log.cleanup.policy=delete,compact),先按规则删除,再对剩余数据压缩。
配置后需重启Kafka服务生效。