Kafka日志清理Linux中怎么设置 - 问答

Kafka日志清理在 Linux 的设置指南

一核心原则与目录区分

先区分两类日志：
1. 数据日志（topic 消息，存储在 log.dirs 指定目录）；
2. 操作日志（Kafka 进程日志，如 server.log，通常在 $KAFKA_HOME/logs）。
数据日志建议由 Kafka 自身的保留与清理机制管理（按时间/大小/压缩），不建议用 Linux 定时任务粗暴删除，否则可能破坏索引一致性、影响消费者位移与压缩过程。操作日志可用 logrotate 或系统 cron 做滚动与清理。

二数据日志的推荐做法（Broker 配置）

关键参数与作用（均为 broker 级，优先以 ms 为准）：
- 保留策略：
  - cleanup.policy=delete（默认）：按时间/大小删除旧分段；
  - cleanup.policy=compact：按键保留最新值（适合状态/配置类主题）；
  - 也可组合：delete,compact。
- 时间保留：
  - log.retention.ms（优先级最高）、log.retention.minutes、log.retention.hours；默认 168 小时（7 天）。
- 大小保留：
  - log.retention.bytes（默认 -1，不限制）；与按时间任一条件满足即触发清理。
- 段与检查：
  - log.segment.bytes（默认 1GB，段切分粒度）；
  - log.retention.check.interval.ms（默认 5 分钟，后台检查间隔）。
- 压缩相关（启用 compact 时）：
  - log.cleaner.enable=true（启用清理/压缩线程）；
  - log.cleaner.threads（清理线程数，默认 1，可按 CPU/IO 适当调大）；
  - log.cleaner.min.cleanable.ratio（默认 0.5，可调小以更频繁压缩）；
  - log.cleaner.delete.retention.ms（墓碑保留，默认 86400000 ms=24 小时）；
  - log.cleaner.min.compaction.lag.ms（最小压缩滞后，默认 0）。

配置示例（server.properties）：

常规消息队列（按时间删除）：

log.cleanup.policy=delete
log.retention.ms=604800000       # 7 天
log.retention.bytes=1073741824   # 1GB
log.segment.bytes=1073741824     # 1GB
log.retention.check.interval.ms=300000

状态/配置主题（压缩为主）：

log.cleanup.policy=compact
log.cleaner.enable=true
log.cleaner.threads=2
log.cleaner.min.cleanable.ratio=0.3
log.cleaner.delete.retention.ms=86400000
log.cleaner.min.compaction.lag.ms=3600000

按 Topic 覆盖（可选）：

bin/kafka-topics.sh --alter --topic your-topic --config cleanup.policy=compact
bin/kafka-topics.sh --alter --topic your-topic --config retention.ms=172800000

注意要点：
- 仅当 cleanup.policy 包含 delete 时，log.retention.ms/bytes 才生效；纯 compact 忽略时间与大小删除。
- 压缩是后台异步过程，优先保障 CPU/IO 与 磁盘空间，并通过监控 log-cleaner-rate、bytes-compacted-rate 等判断是否需要调优线程与阈值。

三操作日志的 Linux 侧清理（server.log 等）

使用 logrotate（推荐，安全可控）：

新建配置 /etc/logrotate.d/kafka：
```
/opt/kafka/logs/*.log {
    daily
    rotate 7
    missingok
    compress
    delaycompress
    copytruncate
    notifempty
    create 0644 kafka kafka
}
```
- 说明：copytruncate 适用于 Kafka 持续写同一个文件句柄的场景；若使用进程信号滚动，可改为 postrotate 发送信号。

测试与生效：

logrotate -d /etc/logrotate.d/kafka   # 语法检查
logrotate -f /etc/logrotate.d/kafka   # 强制执行一次

或使用 cron + find（简单直接）：
1. 清理脚本（示例：删除 7 天前 的 .log.*）：
```
#!/bin/bash
find /opt/kafka/logs -mtime +7 -name "*.log.*" -exec rm -f {} \;
```
2. 加入定时任务（每天 0:30 执行）：
```
30 0 * * * /bin/bash /opt/kafka/bin/clear-kafka-log.sh
```
安全建议：
- 避免对 数据日志目录（log.dirs） 使用 find/rm 直接删除；
- 不要将 log.dirs 指向 /tmp；部分系统的 systemd-tmpfiles 或 tmpwatch 会定期清理 /tmp，可能导致 __consumer_offsets 等异常（IO/文件找不到错误）。

四常见问题与排查

不要将 log.dirs 放在 /tmp，否则可能被系统清理机制删除，引发 Failed to clean up log 等错误；应改为持久路径（如 /opt/kafka/kafka-logs）。
使用 Linux 删除脚本时务必限定在 操作日志目录，避免误删 数据日志；数据日志清理交由 Kafka 保留/压缩 机制完成。
压缩滞后或资源紧张：适当增加 log.cleaner.threads，并关注 log-cleaner-rate、bytes-compacted-rate 等指标；根据负载调整 min.cleanable.ratio 与 delete.retention.ms。

0 赞

0 踩