怎样实现 Ubuntu Hadoop 高可用

实现Ubuntu Hadoop高可用需配置NameNode和ResourceManager的高可用，依赖ZooKeeper集群实现故障自动切换，步骤如下：

1. 环境准备

   • 操作系统：Ubuntu 20.04/22.04。
   • Java版本：JDK 8。
   • 网络配置：为各节点配置静态IP、主机名及DNS，确保节点间互通。
   • 安装JDK和Hadoop：在所有节点安装相同版本的JDK和Hadoop，配置环境变量。

2. 配置ZooKeeper集群

   • 部署3个ZooKeeper节点，修改zoo.cfg配置集群地址（如server.1=zk1:2181,server.2=zk2:2181,server.3=zk3:2181）。
   • 启动ZooKeeper服务：zkServer.sh start，验证状态为Leader或Follower。

3. 配置NameNode高可用

   • 修改配置文件：
     • core-site.xml：设置fs.defaultFS为集群名称（如hdfs://mycluster），指定ZooKeeper地址ha.zookeeper.quorum。
     • hdfs-site.xml：
       • 定义集群名称dfs.nameservices，配置主备NameNode的RPC和HTTP地址dfs.namenode.rpc-address/http-address。
       • 启用共享编辑日志：dfs.namenode.shared.edits.dir指向JournalNode（如qjournal://jn1:8485;jn2:8485;jn3:8485/mycluster）。
       • 启用自动故障切换：dfs.ha.automatic-failover.enabled=true。
   • 初始化共享日志：在主NameNode上执行hdfs namenode -initializeSharedEdits。
   • 启动JournalNode：在所有JournalNode节点执行hdfs --daemon start journalnode。
   • 格式化NameNode：在主NameNode上执行hdfs namenode -format，并同步元数据到备NameNode。

4. 配置ResourceManager高可用

   • 修改配置文件：在yarn-site.xml中启用ResourceManager HA：

     <property>  
       <name>yarn.resourcemanager.ha.enabled</name>  
       <value>true</value>  
     </property>  
     <property>  
       <name>yarn.resourcemanager.cluster-id</name>  
       <value>mycluster</value>  
     </property>  
     ```。  
     

   • 指定主备ResourceManager的地址yarn.resourcemanager.hostname。

5. 启动集群并验证

   • 启动顺序：ZooKeeper → JournalNode → NameNode（主备） → ResourceManager（主备）。
   • 验证：通过jps查看进程状态，模拟节点故障（如关闭主NameNode），观察是否自动切换至备节点。

6. 监控与优化

   • 部署Ganglia、Prometheus等工具监控集群状态，设置告警。
   • 定期备份HDFS数据，优化资源分配和网络配置。

关键组件说明：

• ZooKeeper：协调集群状态，触发故障切换。
• JournalNode：存储NameNode的编辑日志，保障元数据一致性。
• 自动故障切换：通过ZKFC（ZooKeeper Failover Controller）实现主备切换。

参考资料：