Kafka配置中优化磁盘使用的关键策略
日志段是Kafka存储的核心单元，其大小和滚动策略直接影响磁盘空间的利用率与清理效率。
log.segment.bytes）：默认1GB，可根据消息大小和写入频率调整（建议2-5GB）。较大的日志段能减少文件切换的开销（如关闭文件、打开新文件的系统调用），但过大会导致单个文件过大，增加清理时的扫描时间。需平衡“文件数量”与“清理效率”。log.roll.ms）：设置日志段的最大存活时间（如1小时），即使未达到log.segment.bytes的大小也会滚动。这能避免因写入量小而导致日志段长期不清理，确保过期数据及时释放。通过时间或大小限制，主动清理过期数据，避免磁盘空间耗尽。
log.retention.hours/log.retention.minutes/log.retention.ms）：默认保留7天（168小时），可根据业务需求缩短（如实时性要求高的场景设为3天）。优先级高于大小限制，到期后自动删除旧日志段。log.retention.bytes）：设置每个分区日志的最大大小（如10GB），达到后删除最早的日志段。与时间限制互斥，适合有明确存储容量要求的场景。log.cleanup.policy）：默认delete（直接删除旧数据），适合对历史数据无强需求的场景；若需保留每个键的最新值（如数据库变更日志），可设置为compact（压缩策略），减少重复数据的存储空间。后台清理任务的频率和范围直接影响磁盘空间的释放速度。
log.cleanup.interval.ms）：默认每5分钟（300000毫秒）检查一次，可根据数据增长速度缩短（如高频写入场景设为1分钟）。更频繁的检查能及时清理过期数据，但会增加CPU开销。硬件选择和文件系统配置是提升磁盘性能的基础。
ext4、XFS等适合Kafka的文件系统；添加noatime（不更新文件访问时间）、nodiratime（不更新目录访问时间）参数，减少不必要的磁盘I/O；对于XFS，可设置data=writeback模式提高写入性能。合理配置线程和刷盘参数，平衡写入性能与磁盘负载。
num.io.threads）：默认通常为8，建议设置为CPU核心数的2倍（如8核CPU设为16）。I/O线程负责处理磁盘写入操作，更多的线程能提升并发处理能力，减少写入延迟。log.flush.interval.messages/log.flush.interval.ms）：log.flush.interval.messages设置每写入多少条消息刷一次盘（如10000条），log.flush.interval.ms设置每间隔多久刷一次盘（如1秒）。适当增大这两个值（如log.flush.interval.messages=10000、log.flush.interval.ms=1000），能减少刷盘次数，提高写入吞吐量，但会增加数据丢失的风险（需结合acks参数权衡）。合理分配分区，避免单点磁盘瓶颈。
log.dir配置为多个磁盘路径（如/disk1,/disk2,/disk3），Kafka会将不同分区的数据分布到不同磁盘，提高并行读写能力。避免所有分区集中在单一磁盘，导致磁盘I/O饱和。通过监控及时发现问题，动态调整配置。