kafka在ubuntu上的日志清理策略

在Ubuntu上，Kafka的日志清理策略主要通过配置文件server.properties进行设置。Kafka提供了两种主要的日志清理策略：删除策略（delete）和压缩策略（compact），具体介绍如下：

删除策略（delete）

• 基于时间：当日志段超过指定的保留时间后，Kafka会删除这些日志段。
• 基于大小：当日志段的总大小超过指定的阈值后，Kafka会删除最早的日志段，直到总大小低于阈值。
• 配置参数：
  • log.retention.hours：定义消息在日志中保留的时间（以小时为单位），默认值为168小时（7天）。
  • log.retention.minutes：以分钟为单位的保留时间。
  • log.retention.ms：以毫秒为单位的保留时间。
  • log.retention.bytes：定义每个日志分区允许使用的最大存储空间，当达到此限制时，最早的消息将被删除。
  • log.retention.check.interval.ms：日志片段文件检查的周期时间，默认值为300000毫秒（5分钟）。

压缩策略（compact）

• 适用于更新频繁的场景，例如数据库变更日志。压缩策略会保留每个键的最新消息版本，删除旧版本的消息。
• 配置参数：
  • log.cleanup.policy：设置为compact启用压缩策略。
  • log.cleaner.enable：设置为true启用清理线程。

需要注意的是，时间和大小限制是互斥的，Kafka将依据首先满足的条件来清理日志。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>