Ubuntu Zookeeper与Hadoop如何集成

在Ubuntu上集成Zookeeper和Hadoop涉及多个步骤，包括安装和配置这两个系统。以下是一个基本的集成指南：

安装Java

Zookeeper是用Java编写的，所以首先需要在你的Ubuntu系统上安装Java。

sudo apt update
sudo apt install openjdk-11-jdk
java -version

下载并解压Zookeeper

从Apache Zookeeper的官方网站下载最新版本的Zookeeper，并解压到你的服务器上。

wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
tar -xzvf apache-zookeeper-3.7.0-bin.tar.gz -C /opt

配置Zookeeper

为每个Zookeeper节点创建一个配置文件。假设你有三个节点，分别是node1, node2, node3。

mkdir -p /var/lib/zookeeper/node1
mkdir -p /var/log/zookeeper/node1
mkdir -p /var/lib/zookeeper/node2
mkdir -p /var/log/zookeeper/node2
mkdir -p /var/lib/zookeeper/node3
mkdir -p /var/log/zookeeper/node3

为每个节点创建一个配置文件，例如/etc/zookeeper/conf/node1.cfg。

cp /opt/apache-zookeeper-3.7.0-bin/conf/zoo_sample.cfg /etc/zookeeper/conf/node1.cfg

编辑node1.cfg文件：

nano /etc/zookeeper/conf/node1.cfg

修改以下配置：

tickTime 2000
dataDir /var/lib/zookeeper/node1
clientPort 2181
initLimit 5
syncLimit 2
server.1 node1:2888:3888
server.2 node2:2888:3888
server.3 node3:2888:3888

重复上述步骤，为node2和node3创建配置文件，并相应地修改配置。

创建myid文件

在每个节点的数据目录中创建一个myid文件，用于标识节点ID。

echo "1" > /var/lib/zookeeper/node1/myid
echo "2" > /var/lib/zookeeper/node2/myid
echo "3" > /var/lib/zookeeper/node3/myid

启动Zookeeper服务

在每个节点上启动Zookeeper服务。

/opt/apache-zookeeper-3.7.0-bin/bin/zkServer.sh start

验证集群状态

在任意一个节点上检查Zookeeper集群的状态。

/opt/apache-zookeeper-3.7.0-bin/bin/zkServer.sh status

你应该能看到类似以下的输出：

ZooKeeper JMX enabled by default
Using config: /opt/apache-zookeeper-3.7.0-bin/conf/zoo.cfg
Mode: follower

配置防火墙

确保防火墙允许Zookeeper节点之间的通信。

sudo ufw allow 2181/tcp
sudo ufw allow 2888/tcp
sudo ufw allow 3888/tcp

Hadoop集成

在Hadoop的配置文件中，需要指定Zookeeper的地址。编辑Hadoop的配置文件（如core-site.xml, hdfs-site.xml等），添加Zookeeper的地址。

例如，在core-site.xml中添加：

<property>
  <name>fs.defaultFS</name>
  <value>zookeeper://node1:2181,node2:2181,node3:2181/hadoop</value>
</property>

在hdfs-site.xml中添加：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

启动Hadoop集群

在NameNode节点上执行格式化命令：

hdfs namenode -format

然后启动HDFS和YARN集群：

./sbin/start-dfs.sh
./sbin/start-yarn.sh

验证集成

通过Web界面查看Hadoop集群的状态，或者使用命令行工具检查各个服务的运行情况。

jps

访问Hadoop的Web界面：http://namenode-host:9000

以上步骤提供了一个基本的Zookeeper与Hadoop集成的流程。在实际操作中，可能还需要根据具体的环境和需求进行相应的调整。