Ubuntu Hadoop 怎样进行升级

Ubuntu 上 Hadoop 升级操作指南

一 升级方式与准备

• 升级方式通常有两种：
  • 使用 APT 包管理 的发行版/厂商包（路径一般为 /etc/hadoop/，服务由系统管理）。
  • 使用 Apache 官方二进制包（路径一般为 $HADOOP_HOME/，服务由 Hadoop 脚本管理）。
• 准备要点：
  • 明确当前版本与目标版本，阅读对应版本的官方升级说明与变更日志（特别是废弃项与行为变更）。
  • 完整备份关键数据与配置：包括 NameNode 元数据目录 dfs.namenode.name.dir、DataNode 数据目录 dfs.datanode.data.dir、以及 $HADOOP_HOME/etc/hadoop/ 下的配置文件。
  • 规划维护窗口与回退方案，确保业务可短暂中断或可切换到备用集群。
  • 确认 Java 版本 满足新版本要求，并统一集群节点的 Java 环境。

二 使用 APT 的升级步骤 Ubuntu

• 适用于通过 apt 安装 Hadoop 的场景（如发行版或厂商提供的包）。
• 操作步骤：
  1. 检查当前状态与版本
     • 查看服务状态：sudo systemctl status hadoop-<service>（按实际服务名）
     • 查看版本：hadoop version
  2. 备份配置与数据（见上节准备）
  3. 执行滚动或一次性升级（建议逐节点或按角色分批）
     • 单节点/测试环境：sudo apt-get update && sudo apt-get install --only-upgrade hadoop hadoop-hdfs hadoop-yarn hadoop-mapreduce ...
     • 生产环境：逐台升级并观察，确保升级后服务可用再继续下一台
  4. 如采用系统服务管理，使用 systemctl 重启相关服务；如采用 Hadoop 脚本管理，使用 $HADOOP_HOME/sbin/start-*.sh 重启
  5. 验证与回退
     • 验证：hadoop version、关键作业/查询、集群 Web UI
     • 异常：使用 APT 回退到上一版本 sudo apt-get install hadoop=<version> ...，并恢复备份配置
• 注意：升级时应同时升级该节点上的所有 Hadoop 相关角色包，避免版本不一致。

三 使用二进制包的升级步骤 Apache 官方版

• 适用于 $HADOOP_HOME 手工部署的场景（常见于 Apache 官方 tar 包）。
• 操作步骤：
  1. 检查与备份
     • hadoop version
     • 备份 dfs.namenode.name.dir、dfs.datanode.data.dir 与 etc/hadoop/ 配置
  2. 停止集群
     • $HADOOP_HOME/sbin/stop-yarn.sh
     • $HADOOP_HOME/sbin/stop-dfs.sh
  3. 部署新版本
     • 下载并解压新版本至临时目录，核对目录权限
     • 将旧版的 etc/hadoop/ 配置按需合并到新版本（避免直接覆盖，保留自定义项）
     • 更新环境变量（如 HADOOP_HOME、JAVA_HOME、PATH），建议先在测试环境验证
  4. 执行 HDFS 升级（跨版本时）
     • 启动升级：$HADOOP_HOME/sbin/start-dfs.sh -upgrade
     • 查看进度：hdfs dfsadmin -upgradeProgress status/details
     • 如升级阻塞且确认安全：hdfs dfsadmin -upgradeProgress force（谨慎使用）
  5. 验证与回退
     • 验证：进程状态 jps、NameNode/DataNode Web UI、基本读写与作业
     • 回退（如升级异常）：$HADOOP_HOME/sbin/start-dfs.sh -rollback（仅当升级未最终化时可用）
  6. 完成升级
     • 稳定运行一段时间后执行：hdfs dfsadmin -finalizeUpgrade（将删除旧版本备份，之后不可回退）
• 说明：HDFS 跨版本会进行 元数据/数据格式升级，务必按升级流程执行并保留回退能力直至确认稳定。

四 升级后验证与常见问题

• 验证清单
  • 版本与进程：hadoop version、jps 检查 NameNode、DataNode、ResourceManager、NodeManager 等进程
  • 服务连通：HDFS Web UI（默认 50070/9870）、YARN Web UI（默认 8088）
  • 基本功能：HDFS 读写、YARN 提交示例作业、队列与资源是否正常
  • 配置生效：检查 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 与新版本特性的一致性
• 常见问题与处理
  • 配置不生效或路径错误：核对 HADOOP_HOME、JAVA_HOME、PATH 与配置文件路径（APT 常为 /etc/hadoop/，二进制常为 $HADOOP_HOME/etc/hadoop/）
  • 启动失败：查看 $HADOOP_HOME/logs/ 下对应角色日志，优先定位端口占用、权限、目录权限与数据目录一致性
  • 升级阻塞：使用 hdfs dfsadmin -upgradeProgress details 排查，必要时 force（风险高，务必评估）
  • 回退需求：未执行 -finalizeUpgrade 前可用 -rollback；已 finalize 则只能从备份恢复数据并重装旧版本
  • 包不一致：多节点需保持 Hadoop 组件版本一致，避免混合版本导致不可预期问题