CentOS HDFS版本升级流程是怎样的

CentOS 上 HDFS 版本升级流程

一 升级方式与前置准备

• 方式选择
  • 滚动升级：适用于启用 HA 的集群，尽量在不中断服务的情况下完成升级，步骤包含准备回滚镜像、逐台升级 NameNode/DataNode、最后定版。
  • 停机升级：适用于 非 HA 或无法滚动的场景，需按序停启服务，执行升级与回滚命令。
• 前置检查
  • 备份关键数据与配置（如 NameNode 元数据目录、hdfs-site.xml/core-site.xml 等）。
  • 核查当前状态与版本：hdfs dfsadmin -report，确认集群健康、容量、块报告正常。
  • 阅读目标版本的官方升级说明，确认与现有组件（如 YARN/HBase/Spark）的兼容性。
  • 建议在测试环境演练全流程，并准备回滚方案与窗口期。

二 滚动升级步骤 HA 集群

• 准备回滚
  • 执行：hdfs dfsadmin -rollingUpgrade prepare，生成用于回滚的 fsimage。
  • 执行：hdfs dfsadmin -rollingUpgrade query，等待状态显示可继续滚动升级。
• 升级 NameNode
  • 升级并重启 Standby NameNode。
  • 执行故障切换，使原 Active 变为 Standby，原 Standby 变为 Active。
  • 升级并重启原 Active NameNode，随后再次切换，使新版本 Active/Standby 就位。
• 升级 DataNode
  • 按批次（如按机架）逐台停机、升级、启动并确认注册与健康，再继续下一批，避免一次性大面积下线。
• 完成与回滚
  • 全部节点升级完成后，执行：hdfs dfsadmin -rollingUpgrade finalize 完成升级（此后通常不可回滚到旧数据结构）。
  • 如升级异常，按官方指引利用回滚镜像执行回滚流程。

三 停机升级步骤 非 HA 集群

• 停止服务
  • 依次停止：SecondaryNameNode（如有）、NameNode、DataNode（必要时同时停 YARN 相关服务以避免任务写入）。
• 安装新版本
  • 在所有节点部署新版本 Hadoop（如解压至 /opt/hadoop-3.x.x），更新环境变量（如 HADOOP_HOME/PATH），并按需同步配置。
• 升级 NameNode 元数据
  • 进入安全模式并保存命名空间：hdfs dfsadmin -safemode enter → hdfs dfsadmin -saveNamespace。
  • 执行升级：hdfs namenode -upgrade（首次启动会进行元数据/目录结构升级）。
• 启动与验证
  • 启动 NameNode/DataNode，使用 hdfs dfsadmin -report 与 Web UI 检查集群状态与版本信息。
  • 确认应用读写正常后，再执行后续业务验证。

四 升级后验证与回滚

• 验证要点
  • 集群健康：hdfs dfsadmin -report、Web UI（如 NameNode 50070、ResourceManager 8088）检查 Live Nodes、Decommissioning/Under replicated blocks 等指标。
  • 业务回归：抽样读写、关键作业/表/目录访问验证，观察 DataNode 日志 与 NameNode 日志 是否有异常。
  • 持续监控：升级后一段时间内加强 监控与告警，确保稳定性。
• 回滚路径
  • 滚动升级异常：在 finalize 之前按官方流程利用回滚镜像执行回滚，恢复至升级前状态。
  • 停机升级异常：停止集群，恢复备份的 NameNode 元数据 与配置，使用 hdfs namenode -rollback 回到旧版本数据结构，再启动服务。

五 关键注意事项

• 兼容性：确认 Hadoop 版本 与 JDK/操作系统/硬件/周边组件 兼容；新功能如启用需评估升级前关闭或迁移路径。
• 配置与目录：新版本可能有默认值和新增配置，需合并更新 core-site.xml/hdfs-site.xml；注意 NameNode 元数据目录 与 DataNode 数据目录 的权限与路径一致性。
• 升级命令差异：HA 场景优先使用 -rollingUpgrade 系列命令；非 HA 场景使用 -upgrade/-rollback 完成升级/回滚。
• 窗口与变更管控：选择业务低峰期，提前通知业务方，保留回滚窗口与回滚方案。
• 测试与演练：务必在 测试环境 完整演练，覆盖正常路径与异常路径。