Ubuntu Zookeeper与Hadoop集成方法 - 问答

Ubuntu 下 Zookeeper 与 Hadoop 集成指南

一架构与准备

适用场景：为 HDFS HA（QJM） 与 YARN HA 提供 Zookeeper 仲裁与故障转移能力。
组件与版本建议：
- Ubuntu 20.04/22.04 LTS
- Java 8（Hadoop 3.x 系列普遍推荐）
- Hadoop 3.3.x/3.4.x
- Zookeeper 3.7.x
基础环境：
- 配置 /etc/hosts 或 DNS，确保各节点主机名可解析；配置 SSH 免密 便于集群启停。
- 建议 Zookeeper 使用 奇数台（3/5/7） 节点，部署在与 Hadoop 不同的主机上更稳妥（也可同机隔离端口部署）。

二安装与配置 Zookeeper 集群

安装（示例为 Apache 官方二进制包）：
- 下载并解压至 /usr/local/zookeeper，设置环境变量：
  - 编辑 /etc/profile 或 ~/.bashrc：
    - export ZOOKEEPER_HOME=/usr/local/zookeeper
    - export PATH=$PATH:$ZOOKEEPER_HOME/bin
  - 执行：source /etc/profile
配置 $ZOOKEEPER_HOME/conf/zoo.cfg：
- 示例（3 节点：zk1/zk2/zk3，端口 2181/2888/3888）：
  - tickTime=2000
  - initLimit=10
  - syncLimit=5
  - dataDir=/var/lib/zookeeper
  - clientPort=2181
  - server.1=zk1:2888:3888
  - server.2=zk2:2888:3888
  - server.3=zk3:2888:3888
初始化 myid（各节点唯一，值为 server.X 的 X）：
- zk1：echo “1” > /var/lib/zookeeper/myid
- zk2：echo “2” > /var/lib/zookeeper/myid
- zk3：echo “3” > /var/lib/zookeeper/myid
启动与验证：
- 各节点执行：zkServer.sh start
- 查看状态：zkServer.sh status（应见到 Leader/Follower 角色）
- 客户端连通性：echo stat | nc zk1 2181 或 zkCli.sh -server zk1:2181。

三配置 Hadoop 使用 Zookeeper

在所有节点配置 $HADOOP_HOME/etc/hadoop/core-site.xml，加入 Zookeeper 仲裁地址（示例为 3 节点）：
- ha.zookeeper.quorum zk1:2181,zk2:2181,zk3:2181
说明：
- 该属性用于 HDFS HA 的 ZKFailoverController（ZKFC） 与 YARN HA 的 ActiveStandbyElector 进行选主与故障转移；端口为 2181（Zookeeper 客户端端口）。
- 其他 Hadoop 基础参数（如 fs.defaultFS、dfs.nameservices、dfs.ha.namenodes.[nameservice]、dfs.namenode.rpc-address.[nameservice].[nn]、dfs.client.failover.proxy.provider.[nameservice] 等）按既有 HA 规划配置，本文聚焦 Zookeeper 集成关键点。

四初始化与启动顺序

首次部署或重大变更后，建议按以下顺序执行（示例命令，按你的安装路径与脚本调整）：
1. 启动 Zookeeper 集群（所有 ZK 节点）：
  - zkServer.sh start
2. 启动 JournalNode（所有 JN 节点）：
  - $HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode
3. 格式化并启动 Active NameNode（nn1）：
  - $HADOOP_HOME/bin/hdfs namenode -format
  - $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
4. 在 Standby NameNode（nn2）同步元数据并启动：
  - $HADOOP_HOME/bin/hdfs namenode -bootstrapStandby
  - $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
5. 启动 ZKFC（两个 NameNode 节点）：
  - $HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc
6. 启动 DataNode（所有 DN 节点）：
  - $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
7. 启动 YARN（ResourceManager/NodeManager）：
  - $HADOOP_HOME/sbin/start-yarn.sh
8. 启动历史服务器（可选）：
  - $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
验证要点：
- Zookeeper：zkServer.sh status 显示 Leader/Follower；zkCli.sh -server zk1:2181 可连入并查看 znode。
- HDFS：hdfs haadmin -getServiceState nn1 / nn2 应分别返回 active/standby；HDFS Web UI 正常。
- YARN：yarn rmadmin -getServiceState rm1 / rm2 显示 active/standby；YARN Web UI 正常。

五常见问题与排查

无法形成集群或 ZKFC 无法选主：
- 检查 ha.zookeeper.quorum 地址与端口（默认 2181）是否可达；Zookeeper 节点数应为奇数且至少 3 台；myid 与 server.X 一一对应；防火墙/安全组放行 2181/2888/3888。
首次启动 NameNode 失败或元数据不一致：
- 确认 JournalNode 已启动且目录可写；必要时清理 dfs.namenode.name.dir/dfs.datanode.data.dir 后重新格式化（仅限全新环境）。
端口冲突或进程未启动：
- 使用 netstat -tulpen | grep -E ‘2181|2888|3888|50070|8088’ 检查端口占用；使用 jps 检查 QuorumPeerMain（ZK）/JournalNode/NameNode/DataNode/ZKFC/ResourceManager/NodeManager 进程是否存在。
版本兼容与 Java 版本：
- Hadoop 3.x 建议使用 Java 8；Zookeeper 3.7.x 与 Hadoop 3.3.x/3.4.x 组合在社区实践中较为常见。
配置分发与一致性：
- 修改 core-site.xml/hdfs-site.xml/yarn-site.xml 后，使用 scp/rsync 同步到所有节点，并统一环境变量与目录权限。

0 赞

0 踩