Linux HDFS如何配置高可用性

配置HDFS高可用性（HA）的主要步骤包括准备环境、修改配置文件、启动HDFS集群以及验证配置。以下是详细的步骤：

1. 集群规划与环境准备

• 规划集群布局：确定集群中各个节点的角色（NameNode、DataNode、JournalNode、ZKFC等）。
• 环境准备：备份原始配置文件，以便在需要时恢复。例如，备份core-site.xml和hdfs-site.xml。

2. 修改配置文件

修改 hdfs-site.xml

在NameNode节点上修改hdfs-site.xml文件，添加以下配置：

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>master:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>slave1:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>slave1:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/home/hadoop-sny/bigdata/dfs/journal/data</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

修改 core-site.xml

在NameNode节点上修改core-site.xml文件，添加以下配置：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master:2181,node1:2181,node2:2181</value>
</property>

3. 启动HDFS集群

• 启动ZooKeeper：在各节点上启动ZooKeeper服务。
• 启动JournalNode：在各节点上启动JournalNode服务。
• 格式化并启动NameNode：在主NameNode上格式化，并启动NameNode。
• 同步数据：将主NameNode的数据复制到备用NameNode。
• 启动DataNode：在各节点上启动DataNode服务。

4. 验证配置

• 检查NameNode状态：使用以下命令检查NameNode的状态：

  hdfs dfsadmin -report
  

• 模拟故障切换：手动停止主NameNode，观察备用NameNode是否能够自动切换为Active状态。

通过以上步骤，可以实现HDFS的高可用性配置，确保在关键组件出现故障时系统仍然可以继续工作。