Hadoop于Linux怎样进行版本升级

Hadoop在Linux环境下的版本升级步骤

1. 升级前准备

• 备份关键数据与配置：升级前务必备份Hadoop的所有重要数据（如HDFS中的业务数据）和配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml等），可使用tar命令打包或复制到异地存储，避免升级过程中数据丢失。
• 检查兼容性：查阅新版本Hadoop的官方升级指南，确认其与当前集群中的其他组件（如Zookeeper、Hive、Spark、HBase等）的兼容性，避免因组件不兼容导致升级失败。
• 确认当前版本：通过hadoop version命令查看当前Hadoop集群的版本信息，明确升级的目标版本。

2. 停止Hadoop集群

• 使用Hadoop自带的脚本停止所有运行中的服务，确保升级过程中无服务干扰：

  cd /path/to/hadoop/bin  # 进入Hadoop bin目录
  ./stop-all.sh           # 停止所有Hadoop服务（包括NameNode、DataNode、ResourceManager等）
  

  执行后可通过jps命令确认所有Hadoop守护进程已停止。

3. 下载与解压新版本

• 下载新版本：访问Hadoop官方网站（apache.org）下载所需版本的Hadoop安装包（如hadoop-3.4.0.tar.gz），选择稳定 release 版本。
• 解压安装包：将下载的安装包解压到指定目录（如/usr/local/），并重命名文件夹为hadoop（便于统一管理）：

  tar -zxvf hadoop-3.4.0.tar.gz -C /usr/local/  # 解压到/usr/local
  mv /usr/local/hadoop-3.4.0 /usr/local/hadoop  # 重命名文件夹
  

4. 更新环境变量

• 编辑~/.bashrc（或/etc/profile）文件，更新HADOOP_HOME环境变量指向新版本目录，并将Hadoop的bin、sbin目录添加到PATH中：

  export HADOOP_HOME=/usr/local/hadoop
  export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  

• 保存后执行source ~/.bashrc（或source /etc/profile）使环境变量生效。

5. 配置文件调整

• 备份旧配置：将旧版本的conf目录下的配置文件复制到新版本的conf目录中（如cp -r /usr/local/hadoop-3.3.0/conf/* /usr/local/hadoop/conf/）。
• 修改配置文件：根据新版本的文档，调整以下关键配置文件：
  • hadoop-env.sh：更新JAVA_HOME为新系统的Java路径（如export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64）。
  • core-site.xml：检查fs.defaultFS（HDFS的默认文件系统地址）、hadoop.tmp.dir（临时目录）等参数是否符合新版本要求。
  • hdfs-site.xml：若升级涉及HDFS文件格式变更（如从HDFS 2.x升级到3.x），需调整dfs.namenode.name.dir（NameNode元数据目录）、dfs.datanode.data.dir（DataNode数据目录）等参数。
  • yarn-site.xml：调整YARN的资源管理配置（如yarn.nodemanager.resource.memory-mb、yarn.scheduler.maximum-allocation-mb）。
  • mapred-site.xml：更新MapReduce框架的配置（如mapreduce.framework.name设置为yarn）。

6. 启动升级流程

• 启动新集群：使用新版本的脚本启动Hadoop集群：

  cd /usr/local/hadoop/sbin
  ./start-dfs.sh    # 启动HDFS服务（NameNode、DataNode）
  ./start-yarn.sh   # 启动YARN服务（ResourceManager、NodeManager）
  

• 执行升级命令：若为首次升级或HDFS文件格式有变化，需使用-upgrade参数启动升级：

  ./hadoop dfsadmin -upgrade
  

  该命令会将旧版本的HDFS元数据升级到新版本格式。

7. 验证升级结果

• 检查守护进程：使用jps命令确认所有必要的守护进程已启动（如NameNode、DataNode、ResourceManager、NodeManager）。
• 查看升级进度：通过hadoop dfsadmin -upgradeProgress status命令查看升级进度，确保无错误。
• 测试功能：运行简单的Hadoop任务（如hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 10 100），验证新版本的MapReduce功能是否正常。
• 检查数据完整性：通过hdfs dfs -ls /命令查看HDFS中的数据是否完整，或使用hdfs fsck命令检查文件系统健康状态。

8. 回滚计划（可选但必要）

• 备份新版本数据：升级成功后，备份新版本的HDFS数据和配置文件，以便后续回滚。
• 记录升级日志：保存升级过程中的所有操作日志（如stop-all.sh、start-dfs.sh的输出），便于排查问题。
• 回滚操作：若升级后出现问题（如服务无法启动、数据丢失），可使用-rollback参数回滚到旧版本：

  ./hadoop dfsadmin -rollback
  

  该命令会将HDFS元数据恢复到升级前的状态。