Debian Zookeeper与其他服务的集成

在 Debian 上，Zookeeper 常作为分布式协调底座，与 Kafka、Hadoop 等组件协同工作。下面给出基于 APT 的部署、关键配置、常见集成与验证步骤，以及常见故障排查要点。

一 安装与基础配置

• 安装组件
  • 执行：sudo apt update && sudo apt install -y zookeeper zookeeperd
• 核心配置
  • 配置文件路径：/etc/zookeeper/conf/zoo.cfg
  • 常用参数：
    • dataDir=/var/lib/zookeeper
    • clientPort=2181
    • 集群示例：server.1=zk1:2888:3888、server.2=zk2:2888:3888、server.3=zk3:2888:3888
  • 在每台 Zookeeper 节点创建 myid（与 server.X 的 X 一致），如：echo "1" | sudo tee /var/lib/zookeeper/myid
• 启动与开机自启
  • sudo systemctl start zookeeper && sudo systemctl enable zookeeper
• 本机连通性验证
  • echo stat | nc localhost 2181（应返回 Zookeeper 状态信息）

二 与常见服务的集成

• Kafka（元数据与集群协调）

  • 配置 server.properties：zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
  • 常用运维命令（老接口）：
    • 列出 Topic：/opt/kafka/bin/kafka-topics.sh --list --zookeeper zk1:2181
    • 创建 Topic：/opt/kafka/bin/kafka-topics.sh --zookeeper zk1:2181 --create --topic test --partitions 3 --replication-factor 3
  • 说明：新版本客户端也可用 bootstrap.servers 直连 Kafka Broker，但部分元数据/管理操作仍依赖 Zookeeper（以所用版本为准）。

• Hadoop HA（HDFS 与 YARN 的自动故障转移）

  • 配置 core-site.xml：
    • <property><name>ha.zookeeper.quorum</name><value>zk1:2181,zk2:2181,zk3:2181</value></property>
  • 配置 hdfs-site.xml（要点）：
    • 命名服务：dfs.nameservices=mycluster
    • NameNode 对：dfs.ha.namenodes.mycluster=nn1,nn2
    • 共享编辑日志：dfs.namenode.shared.edits.dir=qjournal://jn1:8485;jn2:8485;jn3:8485/mycluster
    • 启用自动故障转移：dfs.ha.automatic-failover.enabled=true
  • 配置 yarn-site.xml（要点）：
    • 启用 HA：yarn.resourcemanager.ha.enabled=true
    • ZK 地址：yarn.resourcemanager.zk-address=zk1:2181,zk2:2181,zk3:2181
  • 初始化与启动顺序：启动 JournalNode → 格式化并启动 Active/Standby NameNode → 启动 ZKFC → 启动 ResourceManager/NodeManager。

• 其他常见集成

  • Dubbo：以 Zookeeper 为注册中心
    • 配置示例：<dubbo:registry address="zookeeper://192.168.1.100:2181" />
  • Debezium：变更数据捕获（CDC），以 Zookeeper 做协调（版本与部署方式相关）
  • PHP 应用：使用 php-zookeeper 扩展进行会话/配置/选主等场景开发。

三 验证与运维要点

• 基础健康检查
  • 服务状态：sudo systemctl status zookeeper
  • 四字命令：echo stat | nc zk1 2181（查看 Mode/Latency 等）
  • CLI 连接：/path/to/zookeeper/bin/zkCli.sh -server zk1:2181（ls / 观察根节点）
• 集成验证
  • Kafka：使用 --zookeeper 或 --bootstrap-server 列出/创建 Topic，确认连通与元数据读写正常
  • Hadoop：执行 hdfs haadmin -getServiceState nn1、yarn rmadmin -getServiceState rm1 检查 Active/Standby 状态；模拟故障切换验证自动恢复
• 网络与防火墙
  • 放通端口：2181（客户端）、2888/3888（集群内部通信），以及组件自身端口（如 9092 Kafka、8088 YARN RM、50070 NN HTTP 等）
• 时间与一致性
  • 全集群启用 NTP 同步，避免因时钟漂移导致会话过期或选主异常。

四 常见问题与排查

• 无法连接 Zookeeper
  • 检查 clientPort=2181 是否监听；myid 与 server.X 是否一致；防火墙/安全组是否放通 2181/2888/3888；/var/lib/zookeeper 权限是否正确
• 集群无法形成多数派
  • 确认 奇数个节点（建议 3/5），多数派可写为 N/2+1；检查 server.X 列表、网络分区、磁盘空间与日志报错
• Hadoop 自动故障转移失败
  • 核对 ha.zookeeper.quorum 与 ZK ACL；确认 ZKFC 已启动且 SSH 免密配置正确；检查 dfs.ha.fencing.methods 与 JournalNode 状态
• Kafka 元数据异常
  • 使用 kafka-topics.sh --zookeeper ... 校验元数据一致性；查看 Broker 与 ZK 日志；必要时滚动重启受影响的 Broker。