Ubuntu Kafka日志管理策略

以下是Ubuntu下Kafka日志管理策略：

1. 配置日志目录：在server.properties中设置log.dirs指定日志存储路径，如log.dirs=/var/log/kafka。
2. 日志清理策略
   • 删除策略：通过log.retention.hours（默认168小时，即7天）、log.retention.bytes（默认-1，表示无限制）等参数设置保留时间或大小，超过条件自动删除旧日志段。
   • 压缩策略：设置log.cleanup.policy=compact，仅保留相同key的最新消息，减少存储占用，适用于更新频繁场景。
3. 日志分割管理：通过log.segment.bytes（默认1GB）和segment.ms（默认7天）控制日志分片滚动，达到条件自动创建新分片。
4. 自动化工具辅助
   • logrotate：安装后配置/etc/logrotate.d/kafka文件，实现日志自动轮转、压缩和清理，如每天轮转、保留7天。
   • Kafka Manager：通过Web界面监控集群状态，管理日志及配置参数。
5. 监控与维护
   • 使用JMX工具（如JConsole）监控日志相关指标。
   • 定期用df -h检查日志目录磁盘空间，避免占满。
6. 备份策略：可通过Kafka Connect或MirrorMaker实现日志备份，支持全量或增量备份。