怎样升级Ubuntu Hadoop版本 - 问答

升级Ubuntu环境下Hadoop版本的步骤

1. 升级前准备

备份关键数据：备份Hadoop配置文件（/etc/hadoop目录下所有文件）和HDFS数据（hdfs-site.xml中dfs.namenode.name.dir、dfs.datanode.data.dir指定的目录），防止升级过程中数据丢失。
检查集群状态：使用hdfs dfsadmin -report确认所有DataNode处于健康状态（无“Dead”或“Decommissioning”节点）；确保YARN集群无运行中的任务（yarn application -list显示无活跃应用）。
查阅新版本文档：重点关注新版本的不兼容配置变更（如Hadoop 3.x中dfs.replication默认值仍为3，但部分参数名称调整）、新增功能及已知问题。
确认依赖兼容性：确保Ubuntu系统已安装与新版本Hadoop匹配的JDK（如Hadoop 3.x需要JDK 8或11）、SSH（用于集群节点间通信）等依赖。

2. 下载并解压新版本Hadoop

下载新版本：访问Apache Hadoop官网（hadoop.apache.org），下载所需版本的安装包（如hadoop-3.3.6.tar.gz）。

解压到指定目录：将下载的安装包解压到Hadoop安装目录（如/usr/local/），避免与旧版本同目录冲突：

sudo tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop  # 可选：重命名目录

3. 更新环境变量

编辑配置文件：打开~/.bashrc（或/etc/profile），更新Hadoop相关环境变量，确保指向新版本路径：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64  # 根据实际JDK路径调整

使配置生效：运行source ~/.bashrc（或source /etc/profile）使环境变量立即生效。

4. 升级HDFS（滚动升级）

停止旧版本HDFS服务：进入Hadoop的sbin目录，停止NameNode和DataNode：
```
cd $HADOOP_HOME/sbin
./stop-dfs.sh
```
启动新版本NameNode（升级模式）：使用-upgrade参数启动NameNode，触发HDFS文件系统升级：
```
hdfs --daemon start namenode -upgrade
```
逐个升级DataNode：停止旧版本DataNode，启动新版本DataNode（每次仅升级一个节点，避免集群不可用）：
```
# 在每个DataNode节点上执行
hdfs --daemon stop datanode
hdfs --daemon start datanode
```

检查升级进度：通过以下命令查看HDFS升级状态，确认所有DataNode已完成升级：

hdfs dfsadmin -upgradeProgress status  # 查看简要状态
hdfs dfsadmin -upgradeProgress details  # 查看详细进度

完成升级：若升级无异常，提交升级以清理旧版本元数据：
```
hdfs dfsadmin -finalizeUpgrade
```

5. 升级YARN（滚动升级）

停止旧版本YARN服务：停止ResourceManager和NodeManager：
```
./stop-yarn.sh
```
启动新版本ResourceManager：使用-upgrade参数启动ResourceManager：
```
yarn --daemon start resourcemanager -upgrade
```
逐个升级NodeManager：停止旧版本NodeManager，启动新版本NodeManager（每次仅升级一个节点）：
```
# 在每个NodeManager节点上执行
yarn --daemon stop nodemanager
yarn --daemon start nodemanager
```
验证YARN状态：使用yarn node -list查看所有NodeManager是否已注册，yarn application -list查看是否有新任务能正常提交。

6. 验证升级结果

检查守护进程：使用jps命令确认所有必要的Hadoop进程已启动（如NameNode、DataNode、ResourceManager、NodeManager）：
```
jps
```
测试基本功能：
- HDFS：hdfs dfs -ls /查看根目录是否存在；hdfs dfs -put test.txt /上传文件测试写入功能。
- YARN：yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 10 100运行示例作业，验证MapReduce功能。

7. 回滚计划（可选但必要）

若升级后出现问题，可通过以下命令回滚到旧版本：

# 停止新版本服务
./stop-dfs.sh
./stop-yarn.sh
# 启动旧版本服务（需保留旧版本目录）
$OLD_HADOOP_HOME/sbin/start-dfs.sh
$OLD_HADOOP_HOME/sbin/start-yarn.sh

注意：回滚需在finalizeUpgrade之前执行，否则旧版本数据已被清理。

0 赞

0 踩