Linux环境下HDFS版本升级操作指南

一、升级前准备

1. 备份关键数据与配置

• 元数据备份：使用hdfs dfsadmin -saveNamespace命令保存NameNode元数据（覆盖旧命名空间文件），或通过hdfs dfsadmin -backup创建增量备份。
• 配置与数据备份：备份/etc/hadoop/下的core-site.xml、hdfs-site.xml、mapred-site.xml等配置文件；备份NameNode元数据目录（如/data/namenode/current）、DataNode数据目录（如/data/datanode/current）。

2. 检查版本兼容性

• 确认新版本HDFS与当前集群的操作系统（如CentOS 7/8）、依赖库（如Java版本，需匹配新版本要求）、其他组件（如YARN、Hive、Spark）兼容。重点查阅新版本官方文档的“Upgrade Compatibility”章节。

3. 下载与解压新版本

• 从Apache Hadoop官网下载稳定版安装包（如hadoop-3.4.0.tar.gz），上传至Linux服务器。
• 解压至指定目录（如/opt/），并备份旧版本目录（如/opt/hadoop-2.10.1）：

  tar -xzvf hadoop-3.4.0.tar.gz -C /opt/
  mv /opt/hadoop-2.10.1 /opt/hadoop-2.10.1.bak
  ```。  
  
  
  

二、停止HDFS服务

使用stop-dfs.sh脚本停止所有HDFS服务（NameNode、DataNode）：

$HADOOP_HOME/sbin/stop-dfs.sh

或通过systemctl命令（若使用systemd管理）：

sudo systemctl stop hadoop-hdfs-namenode
sudo systemctl stop hadoop-hdfs-datanode
```。  


## 三、升级HDFS软件包
1. **解压新版本**：将下载的新版本Hadoop解压至目标目录（如`/opt/hadoop-3.4.0`）。  
2. **更新环境变量**：修改`/etc/profile`或`~/.bashrc`，将`HADOOP_HOME`指向新版本目录，并更新`PATH`：  
   ```bash
   echo "export HADOOP_HOME=/opt/hadoop-3.4.0" >> /etc/profile
   echo "export PATH=\$HADOOP_HOME/bin:\$PATH" >> /etc/profile
   source /etc/profile
   ```。  


## 四、执行升级操作
### 1. 非HA（高可用）集群（停机升级）
- 直接启动升级流程：  
  ```bash
  hdfs namenode -upgrade

• 启动HDFS服务：

  start-dfs.sh
  

• 验证升级状态：使用hdfs dfsadmin -report查看集群节点是否运行新版本，或访问NameNode Web界面（默认http://namenode:9870）确认版本号。

2. HA（高可用）集群（滚动升级）

滚动升级可避免集群停机，步骤如下：

1. 准备滚动升级：

   hdfs dfsadmin -rollingUpgrade prepare
   

2. 升级Standby NameNode：
   • 故障切换至Standby NameNode（若Active NameNode为nn1，执行hdfs haadmin -failover nn1 nn2）；
   • 在新的Active NameNode上执行升级：

     hdfs namenode -upgrade
     

3. 升级DataNode：
   • 逐个关闭DataNode（避免同时关闭过多节点影响数据可用性）：

     hdfs dfsadmin -shutdownDatanode datanode1:50010 upgrade
     

   • 启动DataNode：

     hdfs --daemon start datanode
     

   • 重复上述步骤，直至所有DataNode升级完成。
4. 完成滚动升级：

   hdfs dfsadmin -rollingUpgrade finalize
   ```。  
   
   
   

五、验证升级结果

1. 检查集群状态：

   hdfs dfsadmin -report
   

   确认所有节点（NameNode、DataNode）状态为“Live”，且版本号显示为新版本。
2. 验证功能正常性：
   • 创建测试目录：hdfs dfs -mkdir /test_upgrade；
   • 上传测试文件：hdfs dfs -put /local/file.txt /test_upgrade；
   • 下载并校验文件：hdfs dfs -get /test_upgrade/file.txt /local/，对比MD5值确保数据一致性。

六、回滚操作（若升级失败）

若升级后出现数据损坏、服务无法启动等问题，需执行回滚：

1. 停止HDFS服务：同步骤二。
2. 执行回滚命令：
   • 非HA集群：

     hdfs namenode -rollback
     

   • HA集群（滚动升级未完成时）：

     hdfs dfsadmin -rollingUpgrade rollback
     

3. 重启服务：启动旧版本HDFS服务（如start-dfs.sh），恢复至升级前状态。

注意事项

• 数据一致性：升级过程中避免向集群写入大量数据，确保副本数充足（默认3副本）。
• 权限与资源：检查磁盘空间（需预留10%-20%空间用于升级）、内存（满足新版本JVM要求）。
• 测试环境验证：务必先在测试集群模拟升级流程，确认无误后再操作生产环境。