Hadoop在Linux系统中如何升级 - 问答

Linux下Hadoop升级实操指南

一升级前准备

明确升级路径与变更：确认当前与目标版本，阅读目标版本的Release Notes/升级指南，评估不兼容项与废弃配置。
检查依赖与兼容性：核对Java 版本（Hadoop 2.x 支持 Java 7/8，Hadoop 3.x 支持 Java 8/11），并梳理生态组件（如 Hive、HBase、Spark）的兼容矩阵。
备份关键数据与配置：备份 NameNode 元数据目录 dfs.namenode.name.dir、JournalNode 数据、关键配置文件（如 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hadoop-env.sh）及业务数据快照。
准备回滚方案：保留旧安装目录与配置，规划回滚窗口与触发条件。
验证环境：在测试/预发环境完成一次端到端演练，覆盖 HDFS、YARN、作业提交与常用客户端命令。

二标准原地升级步骤

滚动或一次性停机：按集群规模选择滚动升级或停机升级；停机时依次停止服务：
- 停止 YARN：${HADOOP_HOME}/sbin/stop-yarn.sh
- 停止 HDFS：${HADOOP_HOME}/sbin/stop-dfs.sh
部署新版本：下载并解压新版本，替换 ${HADOOP_HOME}；或采用并行目录部署后通过软链切换。
同步与修订配置：将旧版配置拷入新版 etc/hadoop/，按需调整新版本新增/变更参数；更新环境变量（如 HADOOP_HOME、PATH、JAVA_HOME）。
启动与升级 HDFS：先启动 NameNode 与 DataNode，以升级模式启动 HDFS：
- 启动命令：${HADOOP_HOME}/sbin/start-dfs.sh -upgrade
- 查看进度：hdfs dfsadmin -upgradeProgress status/details
验证与回滚窗口：业务回归验证；若发现问题，可回滚：
- 停止集群后执行：${HADOOP_HOME}/sbin/start-dfs.sh -rollback
完成升级：确认稳定后执行：hdfs dfsadmin -finalizeUpgrade（将删除旧版本备份，回滚将不可用）。

三跨大版本与兼容性要点

Java 运行时：Hadoop 3.x 建议使用 JDK 8/11；Hadoop 2.x 使用 JDK 7/8，避免跨大版本 JDK 带来的运行时问题。
依赖库冲突：关注 Guava、Protobuf、SLF4J 等版本差异，清理 $HADOOP_HOME/share/hadoop/ 下旧版 JAR，避免类加载冲突。
配置与 API 变更：核对新版对参数、默认值、废弃项与 API 的变更，必要时调整客户端代码与作业配置。
发行版差异：在 Debian/Ubuntu 系上，先完成系统包更新（如 apt update/upgrade/full-upgrade），再部署 Hadoop 新版本并调整配置。

四升级后验证与回滚策略

快速健康检查：
- HDFS：hdfs dfsadmin -report、hdfs dfs -ls /
- YARN：yarn node -list、yarn application -list
业务回归：提交典型作业（批处理/流处理/SQL），核对输出与性能基线。
监控与日志：持续观察 NameNode/DataNode/ResourceManager/NodeManager 日志（路径：$HADOOP_HOME/logs/），关注告警与异常堆栈。
回滚触发条件：出现数据一致性异常、关键作业大面积失败、升级进度阻塞且无法恢复等情形，按预案执行回滚并缩短回滚窗口。

五常见排错清单

0 赞

0 踩