centos环境下kafka高可用性如何配置

总体架构与前提

• 建议至少准备3台 CentOS 7/8 服务器，每台部署1个 Kafka Broker；若采用外部协调，再准备3台 ZooKeeper（或升级到 Kafka 3.5.1+ 的 KRaft 模式以去除 ZooKeeper 依赖）。
• 安装 Java 11+（推荐），并创建专用用户（如 kafka）运行进程；为 Kafka 调高文件句柄与内存映射限制（如 ulimit -n ≥ 100000、vm.max_map_count 调优）。
• 配置 /etc/hosts 或 DNS，确保节点间可解析；开放或放行端口：9092（Kafka）、2181（ZooKeeper），以及 ZooKeeper 集群通信端口 2888/3888。
• 时间同步（如 chrony）与基础监控（JMX/脚本）建议一并就绪。

部署步骤

• 安装与配置 ZooKeeper 集群（外部协调模式）
  1. 下载解压 ZooKeeper，编辑 conf/zoo.cfg：
     tickTime=2000；initLimit=10；syncLimit=5；dataDir=/opt/zookeeper/data；clientPort=2181
     集群节点：server.1=kafka1:2888:3888；server.2=kafka2:2888:3888；server.3=kafka3:2888:3888
  2. 各节点在 dataDir 下创建 myid，内容分别为 1/2/3；
  3. 启动并检查状态：bin/zkServer.sh start/status。
• 安装与配置 Kafka 集群
  1. 下载解压 Kafka（如 3.8.x），编辑 config/server.properties（每个节点唯一 broker.id）：
     listeners=PLAINTEXT://:9092
     advertised.listeners=PLAINTEXT://<本机IP或FQDN>:9092
     log.dirs=/var/lib/kafka/logs
     num.network.threads=3；num.io.threads=8
     socket.send.buffer.bytes=102400；socket.receive.buffer.bytes=102400；socket.request.max.bytes=104857600
     若使用外部 ZooKeeper：zookeeper.connect=kafka1:2181,kafka2:2181,kafka3:2181
  2. 创建日志目录并赋权；
  3. 启动：bin/kafka-server-start.sh -daemon config/server.properties。
• 防火墙放行（示例）：firewall-cmd --permanent --add-port=9092/tcp；firewall-cmd --permanent --add-port=2181/tcp；firewall-cmd --reload。
• 验证：创建测试主题（见下节），并做生产/消费连通性验证。

高可用关键配置

• 主题与副本
  • 创建 Topic 时设置 –replication-factor ≥ 3、–partitions ≥ 3，并将副本分布在不同 Broker；若跨机架，配置 broker.rack 实现机架感知，提升容灾能力。
• 服务端关键参数（server.properties）
  • 可用性优先：
    • unclean.leader.election.enable=true（允许非 ISR 副本被选举为 Leader，可能丢数据，但减少不可用窗口）
    • auto.leader.rebalance.enable=true（自动均衡 Leader）
    • min.insync.replicas=1（配合 acks=all 时放宽一致性）
  • 可靠性优先：
    • unclean.leader.election.enable=false（避免脏 Leader，宁可暂时不可用）
    • min.insync.replicas=2（至少 2 个同步副本才允许写入）
    • 注意：需满足 min.insync.replicas ≤ replication.factor。
• 客户端关键参数（producer.properties）
  • acks=0：不等待确认，性能最高、丢数据风险最大；
  • acks=1：仅 Leader 确认，折中；
  • acks=all（或 -1）：等待 ISR 全部副本确认，最可靠但时延最高。
• 典型组合建议
  • 高可用：acks=1，min.insync.replicas=1，unclean.leader.election.enable=true；
  • 高可靠：acks=all，min.insync.replicas=2（或 3），unclean.leader.election.enable=false。
• 动态生效与生效范围
  • 上述参数大多支持 Topic 级覆盖（可在创建/变更时指定），部分服务级参数需重启生效。

验证与日常运维

• 验证集群健康
  • 创建测试主题：
    ./kafka-topics.sh --create --bootstrap-server kafka1:9092 --topic test-ha --partitions 3 --replication-factor 3
  • 查看分布：
    ./kafka-topics.sh --describe --bootstrap-server kafka1:9092 --topic test-ha
  • 生产/消费验证：
    ./kafka-console-producer.sh --bootstrap-server kafka1:9092 --topic test-ha
    ./kafka-console-consumer.sh --bootstrap-server kafka2:9092 --topic test-ha --from-beginning
• 监控与告警
  • 通过 JMX 与命令行工具持续观察：UnderReplicatedPartitions、IsrShrinks、LeaderElectionRateAndTimeMs、RequestHandlerAvgIdlePercent 等关键指标；异常时优先排查网络、磁盘、ZooKeeper/KRaft 状态与副本同步滞后。
• 维护与变更
  • 变更 服务级参数（如 unclean.leader.election.enable、min.insync.replicas）需在维护窗口进行并重启；Topic 级参数可用 kafka-topics.sh --alter 在线调整。

KRaft 模式可选方案

• 适用版本：Kafka 3.5.1+ 支持内置 KRaft（Kafka Raft Metadata）模式，去除外部 ZooKeeper 依赖，元数据与一致性由 Kafka 自身管理。
• 基本思路：部署 3/5 个 Controller 节点 + 若干 Broker 节点，生成并分发 cluster.id 与节点 ID，配置 process.roles=broker,controller、controller.quorum.voters、listeners、log.dirs 等，按官方步骤完成引导与数据目录迁移。
• 优势与注意：部署与运维简化、故障域更集中；但首次迁移需严格按官方步骤执行，确保元数据一致性与副本放置策略正确。