Kafka配置文件详解及修改

Kafka配置文件结构与核心要点

• 配置文件位于安装目录的 config/ 下，核心文件包括：
  • server.properties：Broker 端配置（网络、存储、Zookeeper/KRaft、Topic 默认值等）。
  • producer.properties：生产者客户端配置（序列化、acks、重试、批处理等）。
  • consumer.properties：消费者客户端配置（反序列化、group.id、offset 策略等）。
• 配置项以 key=value 形式组织，支持在文件内直接修改或通过环境变量/启动脚本覆盖。
• 版本差异提示：旧版大量使用 zookeeper.connect；新版本引入 KRaft 模式（以 process.roles、controller.quorum.voters 等为核心，不再依赖 Zookeeper）。单机/测试环境仍常用自带 Zookeeper 脚本快速启动。

server.properties 关键参数与修改建议

• 基础网络与标识
  • broker.id：每个 Broker 的唯一 ID，集群内不可重复（单机可设为 0）。
  • listeners：监听地址与协议，如 PLAINTEXT://0.0.0.0:9092（对全部网卡监听）。
  • advertised.listeners：对外通告地址，客户端实际连接地址；若未设置，会回退到 listeners，再无则使用本机 hostname（易变成 localhost，导致远程连不通）。公网/容器场景务必显式配置为服务器 IP:端口。
• 存储与日志保留
  • log.dirs：消息日志目录（可多目录，逗号分隔，优先使用空间更大的磁盘）。
  • log.retention.hours / log.retention.bytes：按时间/容量保留策略（如 168 小时=7 天）。
  • log.segment.bytes / log.roll.hours：段文件大小与滚动周期（影响恢复与清理粒度）。
  • num.partitions / default.replication.factor：新 Topic 的默认分区数与副本数（生产环境建议 RF≥3）。
• 连接与线程
  • zookeeper.connect（Zookeeper 模式）：如 zk1:2181,zk2:2181,zk3:2181。
  • num.network.threads / num.io.threads：网络与磁盘 IO 线程数（按 CPU/磁盘数调优）。
  • socket.send.buffer.bytes / socket.receive.buffer.bytes / socket.request.max.bytes：套接字缓冲与单请求上限。
• Topic 与内部主题
  • auto.create.topics.enable：是否允许自动创建 Topic（建议生产关闭，由管控平台/CI 创建）。
  • offsets.topic.replication.factor / transaction.state.log.replication.factor / transaction.state.log.min.isr：内部主题与事务主题的副本与一致性要求（建议 ≥3，ISR 至少 2）。

生产者与消费者配置要点

• 生产者 producer.properties
  • bootstrap.servers：Broker 地址列表（建议至少 2–3 个）。
  • key.serializer / value.serializer：如 org.apache.kafka.common.serialization.StringSerializer。
  • acks：确认机制，0/1/all(-1)；高可靠建议 all 并配合重试与幂等。
  • retries / enable.idempotence / max.in.flight.requests.per.connection：重试与幂等（幂等需 acks=all 且 retries>0）。
  • batch.size / linger.ms / compression.type：批处理与压缩（吞吐与延迟权衡）。
• 消费者 consumer.properties
  • bootstrap.servers / group.id。
  • key.deserializer / value.deserializer。
  • auto.offset.reset：无位移时从 earliest/latest 开始。
  • enable.auto.commit / auto.commit.interval.ms：自动提交与间隔（精确一次语义建议关闭自动提交，结合事务/幂等）。

修改步骤与验证

• 修改步骤
  1. 备份原配置：cp server.properties server.properties.bak。
  2. 编辑关键项：至少确认 broker.id / listeners / advertised.listeners / log.dirs / zookeeper.connect（或 KRaft 相关项）/ 默认分区与副本。
  3. 如启用删除 Topic 功能：在 server.properties 中设置 delete.topic.enable=true（部分版本默认关闭）。
  4. 分发到各节点并修正各自的 broker.id 与 advertised.listeners。
  5. 启动依赖与 Broker：先启动 Zookeeper（或使用 KRaft），再启动 Kafka（示例：bin/kafka-server-start.sh -daemon config/server.properties）。
• 快速验证
  • 创建 Topic：bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1。
  • 生产消息：bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092。
  • 消费消息：bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning。
  • 常见连通性故障：客户端报 “Connection to localhost:9092 unsuccessful” 多因 advertised.listeners 未正确设置为服务器 IP。

常见问题与优化建议

• 远程连不通或元数据取到 localhost：显式设置 listeners=PLAINTEXT://0.0.0.0:9092 与 advertised.listeners=PLAINTEXT://<服务器IP>:9092；必要时修正 /etc/hosts 与本机 hostname 映射。
• 消息过大被拒：同步调整 Broker 的 message.max.bytes 与 Topic 的 max.message.bytes，并确保生产者/消费者序列化与拦截器链路一致。
• 磁盘与保留策略：按容量规划设置 log.retention.bytes 与 log.retention.hours，并合理规划 log.dirs 多磁盘分布；监控 UnderReplicatedPartitions 与 RequestHandlerAvgIdlePercent。
• JVM 与系统：为 Broker 设置合适的堆与 GC（如环境变量 KAFKA_HEAP_OPTS=“-Xmx2G -Xms2G”），并结合页缓存与文件系统（如 ext4/xfs、noatime）优化。