怎样确保CentOS HDFS高可用性

确保CentOS上HDFS高可用性需配置多个NameNode节点、ZooKeeper集群及JournalNode，核心步骤如下：

1. 准备环境

   • 至少准备3台CentOS节点（1个Active NameNode、1个Standby NameNode、1个JournalNode，可共用节点），确保网络互通。
   • 安装JDK并配置环境变量。

2. 配置NameNode高可用

   • 修改hdfs-site.xml：
     • 设置dfs.nameservices为集群名称（如mycluster）。
     • 定义dfs.ha.namenodes.mycluster为NameNode标识（如nn1,nn2）。
     • 配置dfs.namenode.rpc-address和dfs.namenode.http-address，分别指定Active和Standby NameNode的RPC和HTTP地址。
     • 配置dfs.namenode.shared.edits.dir为JournalNode集群地址（如qjournal://node1:8485;node2:8485;node3:8485/mycluster），用于元数据同步。
   • 启用自动故障转移：添加dfs.ha.automatic-failover.enabled=true。

3. 部署ZooKeeper集群（可选但推荐）

   • 安装ZooKeeper并配置zoo.cfg，指定集群节点及端口（如server.1=node1:2181;server.2=node2:2181;server.3=node3:2181）。
   • 在每个节点启动ZooKeeper服务：./zkServer.sh start。

4. 启动服务并验证

   • 初始化NameNode：在Active NameNode上执行hdfs namenode -format。
   • 启动JournalNode：在所有JournalNode节点执行hadoop-daemon.sh start journalnode。
   • 启动NameNode：先在Active NameNode启动集群（start-dfs.sh），再在Standby NameNode执行hdfs namenode -bootstrapStandby同步元数据。
   • 验证状态：通过hdfs dfsadmin -report查看NameNode状态，确认Active/Standby切换正常。

5. 安全加固

   • 配置dfs.ha.fencing.methods为sshfence，并指定SSH私钥路径，确保故障转移时安全终止原Active NameNode进程。
   • 定期备份NameNode元数据和JournalNode数据，防止数据丢失。

关键组件说明：

• JournalNode：通过共享存储（QJM）同步NameNode元数据，确保Active和Standby节点数据一致。
• ZooKeeper：监控NameNode状态，触发故障转移并管理集群锁，避免脑裂。

通过以上配置，可实现CentOS环境下HDFS的高可用性，保障服务连续性。