Kafka 日志管理策略总览
在 Linux 上的 Kafka 运维中，“日志”既指运行日志（server.log 等），也指消息日志（Topic 数据）。二者管理方式不同：运行日志依赖 Linux 系统与 logrotate，消息日志由 Kafka Broker 的日志保留与压缩策略控制。
一 运行日志管理（server.log 等）
- 使用 logrotate 做按日/大小轮转、压缩与保留，示例配置：
- 路径与规则：/var/log/kafka/*.log { daily; rotate 7; compress; delaycompress; missingok; notifempty; create 644 root root; sharedscripts; postrotate […] endscript }
- 触发优雅重开：postrotate 中向 Kafka 进程发送 USR1 信号，促使重新打开日志文件句柄，避免日志写入中断。
- 配合系统日志栈：如使用 rsyslog 或 systemd-journald 统一采集与转发运行日志，便于集中化检索与审计。
- 日常维护：用 tail -f、grep 快速排查；结合 Prometheus + Grafana 做运行日志与关键指标的监控告警。
二 消息日志保留策略（Topic 数据）
- 删除策略 delete（默认）：按时间或大小清理旧数据，核心参数：
- 时间：log.retention.ms > log.retention.minutes > log.retention.hours，默认 168 小时（7 天）。
- 大小：log.retention.bytes（默认 -1，不限制）。
- 检查间隔：log.retention.check.interval.ms=300000（默认 5 分钟）。
- 压缩策略 compact：按 key 保留最新值，适合 键值/状态 场景，核心参数：
- 启用：log.cleanup.policy=compact，log.cleaner.enabled=true（默认开启）。
- 可调：log.cleaner.threads（清理线程数）、log.cleaner.min.cleanable.ratio（触发压缩的脏比例）、以及 min.compaction.lag.ms / max.compaction.lag.ms（压缩延迟边界）。
- 混合策略：同时启用 delete,compact，先压缩再按时间/大小删除，兼顾回溯与容量控制。
三 段滚动与删除机制
- 段（Segment）是 Kafka 清理与删除的最小单位，滚动由以下参数控制：
- 大小：log.segment.bytes（默认 1GB），达到即滚动。
- 时间：log.segment.ms（默认 7 天），到达即滚动（即使未达 1GB）。
- 删除行为要点：
- 仅删除非活动段；活跃段即使消息超时也不会被删除，因此实际保留时长可能比 retention.ms 多出“一个段”的时间窗口。
- 段被标记删除后，延迟回收由 file.delete.delay.ms（默认 60000 ms）控制。
四 容量与性能优化建议
- 存储与文件系统：优先 NVMe SSD；文件系统推荐 XFS；挂载选项 noatime,nodiratime；多盘可用 log.dirs=/data1/kafka,/data2/kafka 分散 I/O。
- 段与索引参数：按吞吐调 log.segment.bytes（高吞吐可降、低吞吐可升）、log.index.size.max.bytes、log.index.interval.bytes；恢复并行度 num.recovery.threads.per.data.dir=2–4。
- 分区与副本：按并行度规划分区数；副本数 default.replication.factor=3；均衡分区分布，避免单 Broker 分区过多。
五 监控 备份与常见注意事项
- 监控与告警：通过 JMX 观察吞吐、延迟、请求耗时等；用 Prometheus + Grafana 做可视化；定期检查 磁盘空间（df -h） 防止写满。
- 备份与容灾：全量可用 kafka-console-consumer 导出；增量用 MirrorMaker 或 Kafka Connect 同步到备份集群/数据湖。
- 关键注意：
- 压缩仅对有 key 的消息有效；压缩与清理是异步过程，配置变更不会立即生效。
- 清理以段为单位，活跃段不会因超时即删；低流量下实际保留可能比 retention.ms 多出约一个段的时间。
- 运行日志与消息日志职责不同：前者用 logrotate/rsyslog/journald，后者用 Kafka 保留/压缩参数；两类日志都需纳入监控与容量规划。