centos kafka磁盘空间要求

容量下限与快速建议

• 单机开发/功能验证：至少预留10GB可用空间，并将数据目录配置到独立磁盘或分区（如：/data/kafka）。这是官方入门文档给出的下限，便于完成安装、启动与基础验证。
• 三节点生产集群（入门规模）：建议单节点可用空间不低于50GB，并结合业务增长预留余量。此建议面向中小规模与常规吞吐场景，便于后续横向扩容与维护。

容量计算公式与示例

• 核心公式
  • 所需空间 ≈ 每日消息量 × 副本数 × 平均消息大小 × 保留天数 × (1 + Kafka内部开销系数) ÷ 压缩比
  • 说明：
    • 默认无压缩时压缩比取1；启用压缩可按实际压测取值（如0.5表示体积减半）。
    • Kafka内部开销（索引、段文件等）建议预留约10%；文件系统（如 ext4）通常默认预留5%空间给 root，不建议将系统预留设为0%。
• 示例（无压缩）
  • 条件：每日1亿条、每条1KB、副本数2、保留7天
  • 计算：1亿 × 2 × 1KB × 7 ≈ 1.4TB 业务数据；加**10%内部开销 ≈ 1.54TB；考虑文件系统5%**预留后 ≈ 1.62TB
  • 结论：单节点建议可用空间≥1.62TB（实际选型可上探至2TB便于峰值与临时膨胀）。

磁盘与文件系统配置要点

• 存储类型：Kafka以顺序写为主，HDD性价比高，SSD性能更佳；可按成本与SLA选择。
• 磁盘布局：优先JBOD（多盘直挂），由 Kafka 自行在目录间均衡分区；尽量避免RAID与NAS（Kafka副本机制已提供冗余与负载均衡）。
• 目录与多盘：在 server.properties 中通过log.dirs指定多个数据目录（逗号分隔），Kafka会将新分区优先放入分区数更少的目录；注意分区与磁盘大小不均导致的负载倾斜风险。
• 预留策略：业务侧建议预留10%（索引/段等），文件系统默认预留5%；两者叠加后单盘可用空间需相应放大，避免写满导致稳定性问题。

容量预估速查表