Kafka日志清理Linux上怎么设置

Kafka日志清理在 Linux 上的设置

一 核心概念与清理策略

• 区分两类“日志”：
  • Kafka 消息日志（数据目录）：由参数 log.dirs 指定，存放 topic 的分区数据段（segment），支持按时间/大小清理或按 key 压缩。
  • Kafka 运行日志（server.log 等）：由 log4j/logback 输出，建议用 logrotate 做按日轮转与压缩。
• 消息日志清理策略（server.properties）：
  • 策略选择：log.cleanup.policy=delete|compact（删除或压缩）。
  • 时间保留：优先使用 log.retention.ms（也可用 minutes/hours，优先级 ms > minutes > hours），默认 168 小时（7 天）。
  • 大小保留：log.retention.bytes（按分区总大小触发清理，默认 -1 不限制）。
  • 段与检查：log.segment.bytes（默认 1GB）、log.retention.check.interval.ms（默认 300000 ms = 5 分钟）、log.segment.delete.delay.ms（默认 60000 ms = 1 分钟）。
  • 压缩模式需开启清理线程：log.cleaner.enable=true。

二 消息日志清理配置步骤

• 编辑配置文件 config/server.properties：
  • 设置数据目录：例如 log.dirs=/var/lib/kafka/data。
  • 选择策略与阈值（示例为保留最近 7 天 或 1GB）：
    • log.cleanup.policy=delete
    • log.retention.ms=604800000
    • log.retention.bytes=1073741824
    • log.segment.bytes=1073741824
    • log.retention.check.interval.ms=300000
    • log.segment.delete.delay.ms=60000
    • log.cleaner.enable=true（仅当使用 compact 时需要）
• 按 topic 单独调整（可选）：
  • 查看：bin/kafka-configs.sh --bootstrap-server broker:9092 --describe --entity-type topics --entity-name
  • 调整保留时间：bin/kafka-configs.sh --bootstrap-server broker:9092 --alter --entity-type topics --entity-name --add-config retention.ms=86400000
  • 调整清理策略：bin/kafka-configs.sh --bootstrap-server broker:9092 --alter --entity-type topics --entity-name --add-config cleanup.policy=compact
• 使配置生效与验证：
  • 重启 broker 或等待 log.retention.check.interval.ms 周期执行。
  • 观察日志目录段文件是否按策略被删除/压缩，或通过 JMX/监控查看磁盘与保留指标。

三 运行日志轮转与清理（logrotate）

• 创建配置 /etc/logrotate.d/kafka：
  • /var/log/kafka/*.log { daily missingok rotate 7 compress delaycompress notifempty create 0644 kafka kafka sharedscripts postrotate # 若 Kafka 使用 systemd systemctl reload kafka.service >/dev/null 2>&1 || true # 若 Kafka 使用传统脚本（示例 PID 文件） # [ -f /var/run/kafka.pid ] && kill -USR1 $(cat /var/run/kafka.pid) || true endscript }
• 说明：
  • 按日轮转、保留 7 天、压缩旧日志；确保运行日志目录与 log4j.properties 中配置的 log4j.appender.kafkaAppender.File 一致。
  • 使用 systemd 时推荐用 reload 触发重新打开日志文件；使用脚本方式可用 kill -USR1 触发（需 Kafka 支持）。

四 关键注意事项与常见误区

• log.retention.bytes 按分区计算：只有当“超出阈值的部分 ≥ 一个日志段大小（log.segment.bytes）”时才会删除最老的段；否则即使总量超限也不会触发删除。
• 删除是“按段”进行：清理线程按 segment 评估是否过期，超过 log.retention.ms 或总大小超限的段会被标记删除，并在 log.segment.delete.delay.ms 后由后台任务真正移除。
• 不要把 Kafka 消息日志与运行日志混为一谈：前者用 server.properties 策略清理，后者用 logrotate 管理；混用会导致清理失效或风险。
• 压缩策略适用场景：log.cleanup.policy=compact 适合按 key 保留最新版本（如用户资料），不适合普通事件流；启用需 log.cleaner.enable=true。