Ubuntu上升级Hadoop的可执行方案
一 升级方式与前置检查
hadoop version,确认升级前后版本跨度与兼容性。二 方式A 使用APT在Ubuntu上升级(推荐)
sudo apt-get install <package_name1> <package_name2> ...apt-get update && apt-get install hadoop 对应角色包)。hadoop version 确认新版本生效。sudo systemctl start hadoop-...,或沿用 $HADOOP_HOME/sbin/start-*.sh)。hdfs dfsadmin -report、yarn node -list,并做小文件读写冒烟测试。三 方式B 二进制包原地升级(tar 包)
cp -r $HADOOP_HOME/etc/hadoop /backup/hadoop_conf_$(date +%F);如有 NameNode 本地元数据目录,也请备份。$HADOOP_HOME/sbin/stop-dfs.sh 与 $HADOOP_HOME/sbin/stop-yarn.sh(或 stop-all.sh)。tar -xzvf hadoop-3.x.y.tar.gz -C /opt/$HADOOP_HOME,如:
mv $HADOOP_HOME $HADOOP_HOME.bak-$(date +%F)ln -s /opt/hadoop-3.x.y $HADOOP_HOME$HADOOP_HOME 指向新目录。cp -r /backup/hadoop_conf_*/etc/hadoop/* $HADOOP_HOME/etc/hadoop/hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml 等(新版本可能新增/废弃参数)。echo $HADOOP_HOME $JAVA_HOME $PATH,必要时在 ~/.bashrc 或 /etc/profile.d/hadoop.sh 中修正并 source 生效。$HADOOP_HOME/sbin/start-dfs.sh -upgradehdfs dfsadmin -upgradeProgress status(必要时 details/force)。hdfs dfsadmin -finalizeUpgrade(一旦定版将不可回滚,务必确认稳定)。$HADOOP_HOME/sbin/start-dfs.sh -rollback。$HADOOP_HOME/sbin/start-yarn.shhdfs dfs -ls /、yarn application -list)。四 升级后验证与回滚策略
hadoop versionhdfs dfsadmin -report、hdfs dfs -test -d /、hdfs dfs -put/get 小文件yarn node -list、yarn application -list,提交示例作业(如 pi 或 wordcount)sudo apt-get install hadoop=<old_version>),并恢复配置与数据目录。-rollback 回到旧版本(需先停集群,再以升级方式启动旧版本)。五 常见问题与注意事项
-upgrade 与 -finalizeUpgrade),再升级 YARN 与生态组件;确保客户端、调度器、计算框架版本匹配。