Kafka在Debian上的数据存储配置有哪些

Kafka在Debian上的数据存储配置主要涉及以下关键参数，需在/etc/kafka/server.properties中设置：

• 日志存储路径：log.dirs=/var/lib/kafka/data，可指定多个目录（建议挂载不同磁盘），Kafka将数据以日志段形式存储在此。
• 日志保留策略：
  • log.retention.hours=168：按时间保留，超7天删除（默认值）。
  • log.retention.bytes=1073741824：按大小保留，超1GB删除（需与时间策略配合）。
• 日志段配置：
  • log.segment.bytes=1073741824：单个日志段大小（默认1GB）。
  • log.roll.hours=168：日志段滚动时间间隔（默认7天）。
• 副本与高可用：
  • default.replication.factor=3：副本数（生产环境建议≥3，需与集群节点数一致）。
  • min.insync.replicas=2：确保数据一致性的最小同步副本数。
• 清理策略：log.cleanup.policy=delete（默认删除旧数据，可设为compact进行压缩）。

操作步骤：

1. 安装Java 11+和Kafka，解压后进入配置目录。
2. 编辑server.properties，设置上述参数并保存。
3. 重启Kafka服务：sudo systemctl restart kafka。

注意事项：

• 确保log.dirs目录存在且Kafka有写入权限（可通过chown -R kafka:kafka /var/lib/kafka设置）。
• 生产环境建议使用SSD存储log.dirs，并定期监控磁盘空间。