在Linux中选择Kafka存储引擎需结合业务场景和性能需求，核心选型依据如下：
一、存储介质选择
- 优先SSD：顺序写入性能显著高于HDD，适合高吞吐场景（如日志流处理），且随机I/O性能优势在Kafka的顺序写特性下仍能体现。
- HDD适用场景：预算有限且对延迟不敏感的批量数据处理，需搭配高转速硬盘（如7200转+）并启用多磁盘并行写入。
二、文件系统配置
- 推荐XFS：支持动态扩展和高并发I/O，对Kafka的日志文件结构优化更友好，无需频繁调优。
- EXT4兼容性：适合老旧系统，但需手动调整
noatime和nodiratime参数减少磁盘写入。
三、存储策略优化
- 分段存储（Segment）：按固定大小（如1GB）拆分日志文件，配合稀疏索引快速定位消息，避免全量扫描。
- 日志清理策略：通过
log.retention.hours或log.retention.bytes设置保留时间/大小，避免磁盘占满。
四、集群扩展性
- 分区与副本：通过增加分区数（
num.partitions）和副本数（default.replication.factor）实现水平扩展，避免单点瓶颈。
- 多磁盘挂载：为每个Broker配置多个独立磁盘路径，利用Linux的并行I/O能力提升吞吐量。
五、内核参数调优
- I/O调度器：选择
deadline或noop调度器，减少磁盘寻道时间。
- 页缓存：增大
vm.dirty_ratio（如40%）提升批量写入效率，配合vm.swappiness=0减少内存交换。
六、特殊场景选型
- 云原生环境：选择支持分层存储的引擎（如Confluent Tiered Storage），将冷数据卸载到对象存储（如S3），降低存储成本。
- 极致低延迟场景：启用
log.flush.interval.messages=1强制同步写入，但会牺牲吞吐量，仅适用于金融级场景。
参考来源：