HDFS在Linux上的版本升级流程
一 升级方式与前置检查
- 方式选择
- 滚动升级（Rolling Upgrade）：适用于启用 HA 的集群，尽量做到不停服；按“先 Standby NameNode → 切换 Active/Standby → 升级原 Active → 再切换 → 逐批升级 DataNode”的顺序执行，最后完成最终化。
- 停机升级（Non‑HA）：需短暂停机，先停旧版再启动新版执行升级流程。
- 前置检查
- 核对目标版本的兼容性与升级说明（HDFS 元数据/数据布局可能随版本变化）。
- 备份关键数据：NameNode 元数据目录 dfs.namenode.name.dir、DataNode 数据目录 dfs.datanode.data.dir、以及 $HADOOP_HOME/etc/hadoop 配置。
- 检查是否存在旧升级残留：执行 hdfs dfsadmin -upgradeProgress status；若显示有进行中的升级或残留备份，需先处理（必要时执行 hdfs dfsadmin -finalizeUpgrade 清理后再升级）。
- 规划回滚方案：保留旧版本安装包与配置，确认回滚路径与步骤。
二 停机升级步骤（非HA，适用于CentOS/RHEL等Linux）
- 停止旧版 HDFS
- 建议以 hdfs 用户执行：
- sbin/stop-dfs.sh
- 或分别停止：hadoop-daemon.sh stop namenode、hadoop-daemon.sh stop datanode
- 备份与准备
- 备份 dfs.namenode.name.dir、dfs.datanode.data.dir 与配置文件目录。
- 在所有节点部署新版本 Hadoop（保持 HADOOP_HOME 等路径一致或同步调整配置）。
- 执行升级
- 启动 NameNode 并进入升级流程：
- 方式A：sbin/start-dfs.sh -upgrade
- 方式B：hdfs namenode -upgrade（随后再启动 DataNode）
- 观察与验证
- 查看升级进度：hdfs dfsadmin -upgradeProgress status / details
- 观察 DataNode 数据目录是否出现 previous/ 等升级临时目录，表示数据布局在迁移/升级。
- 通过 http://:50070 查看启动与升级进度页面。
- 提交升级
- 在确认新版本运行稳定（建议观察至少数天）后，执行最终化：
- hdfs dfsadmin -finalizeUpgrade
- 注意：提交后旧版本备份会被删除，将无法再回滚到升级前状态。
三 滚动升级步骤（HA，尽量不停服）
- 准备阶段
- 执行：hdfs dfsadmin -rollingUpgrade prepare
- 查询：hdfs dfsadmin -rollingUpgrade query，直至出现 “Proceed with rolling upgrade”。
- 升级 NameNode
- 依次升级 Standby NN → 执行 HA 切换使原 Active 变为 Standby → 升级原 Active NN → 再次切换使新版本成为 Active。
- 升级 DataNode
- 按批次（如按机架/机柜）逐台停机、升级、启动并确认注册成功，再继续下一批，直至全部完成。
- 完成升级
- 确认集群稳定后执行：hdfs dfsadmin -rollingUpgrade finalize。
四 回滚与常见问题
- 回滚
- 停机回滚（非HA）：停止集群 → 部署旧版本 → 启动 NameNode 时执行回滚：hdfs namenode -rollback（或 sbin/start-dfs.sh -rollback）→ 启动 DataNode。
- 滚动回滚（HA）：在 -rollingUpgrade 流程内按官方指引执行回滚操作，再恢复服务。
- 重要：一旦执行 -finalizeUpgrade，旧备份被清理，无法回滚；提交前务必充分验证。
- 常见问题与要点
- 不要在新版本未执行“-upgrade”前直接启动，否则不会触发数据布局升级。
- 升级未完成或未提交前，删除旧文件不会真正释放 DataNode 磁盘空间。
- 升级期间可通过 hdfs dfsadmin -upgradeProgress 查看进度与细节；必要时再执行“-finalizeUpgrade”。
- 配置与路径：确保 JAVA_HOME、dfs.namenode.name.dir、dfs.datanode.data.dir 等在新版本中配置正确；跨小版本升级通常可沿用旧配置，但需按新版本变更做必要调整。