Kafka集群部署有哪些要点

Kafka集群部署要点

一 规划与容量

• 节点与操作系统：至少准备3台服务器，推荐在Linux上部署（可获得更佳的epoll与零拷贝支持，社区对Windows问题支持有限）。
• 存储与磁盘：优先使用SSD；Kafka自身通过多副本与分区实现冗余，磁盘一般无需RAID；按业务增长规划容量，并预留约**10%**余量。
• 容量估算示例：日增1亿条、每条1KB、副本2、留存7天、压缩比0.75，日占用约150GB，加10%余量约165GB，7天约1155GB。
• 网络带宽：例如1Gbps链路、单Broker可用约240Mbps，若1小时需处理1TB数据（约2336Mb/s），需约10台Broker；若副本3，则约30台。
• 基础依赖：安装JDK 8+，各节点时间同步（NTP）。

二 核心配置

• 必备参数：
  • broker.id：集群内唯一。
  • listeners 与 advertised.listeners：分别配置监听地址与对客户端“对外宣告”的地址，确保跨网段/公网可连。
  • log.dirs：数据目录，建议分布在不同物理磁盘以提升I/O。
  • zookeeper.connect：指向ZooKeeper集群地址。
• 可靠性参数：
  • replication.factor：生产环境建议≥3。
  • min.insync.replicas：建议2，配合生产者的acks=all降低数据丢失风险。
• 分区与默认策略：
  • num.partitions：按吞吐与并发规划，通常**>消费者数**并随规模增长。
  • default.replication.factor：新建Topic的默认副本因子，建议3。
• 日志保留与段大小：
  • log.retention.hours / log.retention.bytes：按合规与成本设置。
  • log.segment.bytes：影响滚动与恢复速度。

三 高可用与容灾

• 元数据与协调：部署3台以上ZooKeeper并配置myid，保证仲裁与故障切换能力。
• 副本与ISR：多副本跨Broker分布，写路径使用acks=all与min.insync.replicas=2确保持久性；监控UnderReplicatedPartitions等指标。
• 故障转移：Broker异常时，分区副本会自动重新均衡；确保应用具备重连与位点重置策略。
• 多地容灾：跨机房/地域可用MirrorMaker 2进行集群间复制，实现Active-Active/Active-Passive方案。

四 安全与网络

• 传输加密：启用SSL/TLS保护节点间与客户端通信。
• 认证与授权：使用SASL/SCRAM或RBAC进行身份鉴别与细粒度授权。
• 网络安全：仅开放必要端口（如9092、2181），通过防火墙/安全组限制来源；对外域名与证书统一管理。
• 客户端连通性：正确设置advertised.listeners，避免内外网地址错配导致无法连接。

五 监控 运维与性能优化

• 监控告警：采集JMX指标，使用Prometheus + Grafana构建看板与阈值告警（如磁盘、请求耗时、副本滞后）。
• 日志与故障排查：合理设置日志级别，关注server.log；常见故障包括端口占用、advertised.listeners配置错误、磁盘满等。
• OS与JVM：提高文件描述符与TCP参数（如somaxconn、tcp_tw_reuse）；JVM设置**-Xmx/-Xms一致并选用G1**等低停顿GC。
• 线程与网络：调优num.network.threads、num.io.threads、socket缓冲等以匹配CPU与带宽。
• 生产者与压缩：合理设置batch.size、linger.ms、**compression.type（如lz4/snappy）**提升吞吐与降低带宽。
• 维护与演练：定期压测与容量评估，制定备份与恢复、升级与故障转移演练流程。