在 Debian 上处理大流量的 Kafka 实践
一 架构与容量规划
- 明确目标：以业务峰值吞吐（MB/s、TPS）、端到端延迟（P95/P99）、保留周期与副本因子为边界，反推集群规模与分区数。
- 分区与并行度：分区是并行度的基本单位，建议按“每个 Broker 的目标分区数 × Broker 数”规划，使消费者线程数与分区数匹配，避免空闲或热点。
- 副本与容错：核心业务建议副本因子≥3，在吞吐与可靠性间平衡；跨机架/可用区部署以规避单点故障。
- 版本与控制器：优先使用包含 KRaft 模式改进的新版本（如 3.x），简化部署与运维复杂度。
- 存储与网络：优先 SSD/NVMe、万兆以上网络；按主题/业务域拆分集群或 Broker 资源隔离，避免相互影响。
二 关键配置与调优要点
- 生产者批处理与压缩
- 增大批次与等待时间：batch.size=1MB、linger.ms≥100ms，提升吞吐。
- 启用压缩：compression.type=lz4/snappy（CPU 换吞吐）。
- 可靠性取舍：acks=all（最强一致）或 acks=1（更高吞吐）。
- 缓冲区：buffer.memory≥64MB，避免阻塞。
- 消费者拉取与处理
- 批量拉取：fetch.min.bytes=1MB、fetch.max.wait.ms=1000ms，减少往返。
- 单次拉取上限：max.poll.records 适度增大，配合处理超时与并发控制。
- Broker I/O 与网络
- I/O 线程：num.io.threads≈磁盘数（或总核数的**~50%**），处理磁盘读写。
- 网络线程：num.network.threads≈总核数的~50% 的 2/3，处理网络请求。
- 副本拉取：num.replica.fetchers≈总核数的~50% 的 1/3，提升 ISR 同步能力。
- 队列与缓冲：queued.max.requests 适度增大以扛峰；socket.send/receive.buffer.bytes 适度放大以适配高吞吐长连接。
- 存储与段管理
- 段滚动与清理：合理设置 log.segment.bytes（默认 1GB）与保留策略，减少段切换与清理抖动。
- 刷盘策略：默认异步刷盘，避免频繁强制刷盘引发 I/O 风暴；结合负载与一致性要求调整。
- 监控与告警
- 建立以吞吐、延迟、错误率、请求排队、磁盘 I/O 延迟为主的监控与阈值告警，持续验证调优成效。
三 存储与生命周期管理
- 分层存储：启用 remote.log.storage.enable=true，将历史冷数据卸载至对象存储（如 S3/GCS），本地仅保留热数据（如 remote.log.storage.local.retention.ms=86400000），显著缓解本地磁盘压力并降低成本。
- 主题级策略：按业务语义设置 cleanup.policy=delete|compact 与 retention.ms，对事件流用删除策略，对变更日志用压缩策略。
- 段与索引：理解分区-段（.log/.index）结构与稀疏索引，结合段大小与保留策略降低随机 I/O 概率。
四 监控排障与稳定性保障
- 关键指标与工具
- 客户端与 Broker：生产/消费速率、请求耗时、错误率、请求排队（如 queued.max.requests 使用率）。
- 副本健康：UnderReplicatedPartitions、ISR 收缩/扩张、副本同步滞后。
- 磁盘与系统：await、r_await/w_await、util%，结合告警阈值（如磁盘 I/O 延迟 >20ms 告警）。
- 可视化与告警：使用 Prometheus + Grafana 与 JMX Exporter 搭建监控大盘并设置阈值告警。
- 典型问题与处置
- ISR 频繁收缩/扩展或复制滞后：适度增大 num.replica.fetchers、num.io.threads、网络/套接字缓冲，并核查磁盘与网络瓶颈。
- 消费组频繁 Rebalance：检查 session.timeout.ms / heartbeat.interval.ms、处理超时与分区/消费者数量匹配，必要时滚动升级与限流。
五 快速落地清单
- 规划与部署：按峰值吞吐与容错目标确定 Broker 数/磁盘/网络；优先 KRaft 模式与多机架部署。
- 主题与分区：按并行度设计分区数，核心主题副本因子≥3，避免热点与不均衡。
- 客户端调优：开启批处理与压缩（如 batch.size=1MB、linger.ms=100ms、compression=lz4），消费者合理设置 fetch.min.bytes/fetch.max.wait.ms/max.poll.records。
- Broker 调优：按硬件调整 num.io.threads/num.network.threads/num.replica.fetchers，适度放大 queued.max.requests 与套接字缓冲，避免请求堆积。
- 存储与生命周期：合理段大小与保留；对历史数据启用 分层存储 卸载至对象存储。
- 监控与演练：上线 Prometheus/Grafana+JMX 监控与阈值告警；定期压测与容量评估，滚动发布变更。