Linux Kafka配置中消息队列设置

Linux Kafka 消息队列配置要点

一 部署模式与基础网络

• 运行模式：Kafka 3.x 起支持 KRaft（无 ZooKeeper）模式，生产建议将 process.roles=broker,controller 分离部署；单节点调试可合并。关键参数：node.id（集群唯一）、controller.quorum.bootstrap.servers（控制器引导地址）。
• 监听器与地址：通过 listeners 定义监听，inter.broker.listener.name 指定内部通信监听器，advertised.listeners 对外暴露地址，controller.listener.names 指定控制器专用监听器；必要时用 listener.security.protocol.map 配置安全协议映射（如 PLAINTEXT/SSL/SASL_PLAINTEXT）。
• 线程与网络：按 CPU 与磁盘数调优 num.network.threads（网络 I/O）与 num.io.threads（磁盘 I/O），提升并发处理能力。

二 Broker 关键参数与容量规划

• 存储与恢复：log.dirs（多磁盘用逗号分隔提升 I/O 并行）、num.recovery.threads.per.data.dir（每个目录恢复线程）。
• 主题与副本：默认分区数 num.partitions（创建主题未指定时使用）、默认副本因子 default.replication.factor；内部主题建议 offsets.topic.replication.factor=3、transaction.state.log.replication.factor=3，并将 transaction.state.log.min.isr 设为副本因子的 2/3 以上 以兼顾可靠性与可用性。
• 消息大小与请求上限：Broker 端 message.max.bytes（单条消息上限）须小于 socket.request.max.bytes（单请求上限），否则大消息会被拒绝；云上或托管实例常将请求上限设为 16MB，需与客户端一并规划。
• 清理与保留：log.retention.hours（默认 168 小时）、log.retention.bytes、log.segment.bytes（默认 1GB）、log.retention.check.interval.ms（默认 300000ms）；清理策略 log.cleanup.policy=delete|compact 按业务选择。

三 生产者与可靠性调优

• 确认机制：acks=all 提供最高可靠性（需等待所有 ISR 副本确认），吞吐会降低；acks=1 折中；acks=0 吞吐最高但无确认保障。
• 重试与顺序：retries 开启可自动重试可重试异常，注意可能改变消息顺序；结合幂等与业务重试策略使用。
• 批量与缓冲：batch.size（默认 16KB）与 linger.ms（默认 0ms，建议适度如 5–20ms）共同决定批量发送；buffer.memory（默认 32MB）控制发送端缓冲上限。
• 压缩：compression.type=none|gzip|snappy|lz4|zstd，压缩可减少网络与存储开销，通常对吞吐与延迟均有收益。

四 消费者与稳定性

• 消费语义：enable.auto.commit=true/false 控制自动/手动提交；自动提交需设置 auto.commit.interval.ms（默认 1000ms）。
• 心跳与会话：session.timeout.ms（默认 30000ms）与 heartbeat.interval.ms 配合，确保消费者组协调与再均衡稳定；建议 heartbeat.interval.ms ≈ session.timeout.ms 的 1/3。
• 拉取与流量：fetch.min.bytes / fetch.max.wait.ms 控制拉取最小字节与最大等待，平衡延迟与吞吐；max.partition.fetch.bytes 限制单次拉取上限，避免 OOM。
• 再均衡监听：实现 ConsumerRebalanceListener 处理分区再均衡前后的提交与位点管理，减少重复消费与数据丢失风险。

五 快速验证与常用命令

• 启动服务：KRaft 模式可直接启动；若使用 ZooKeeper，先启动 ZooKeeper，再启动 Kafka。
• 创建主题：指定 –bootstrap-server、–partitions、–replication-factor。
• 生产/消费：使用控制台生产者/消费者验证连通性与基本吞吐。
• 运维查看：用 kafka-topics.sh、kafka-console-consumer.sh、kafka-consumer-groups.sh 管理主题与消费者组。