管理CentOS上Kafka的磁盘空间可从以下方面入手:
log.retention.hours(或log.retention.minutes、log.retention.ms)控制日志保留时间,如设为168(7天)。log.retention.bytes限制日志总大小,默认-1(无限制),可设为具体值如1073741824(1GB)。log.segment.bytes控制单个日志分段大小,默认1073741824(1GB)。log.cleanup.policy=delete(默认),按时间或大小删除旧日志。log.cleanup.policy=compact进行日志压缩,保留每个key的最新值。kafka-log-dirs.sh脚本查看Topic和Broker的磁盘使用情况。kafka.server:type=LogManager,name=LogEndOffset等。df -h查看磁盘整体使用情况。log.dirs配置添加新路径,然后重启Kafka。