Ubuntu 与 HDFS 版本选择指南
一 选择原则
- 优先选择 LTS 版本的 Ubuntu（如 20.04、22.04、24.04），以获得更长的系统与安全支持周期，减少运维风险。
- 面向生产的新部署建议采用 Hadoop 3.x（如 3.3.x），在稳定性、特性与社区资料上更均衡；若已有 Hadoop 2.7.x 存量集群且对功能诉求不高，可继续维护，但新特性与生态适配以 3.x 为主。
- 保持 Java 与 Hadoop 的匹配：Hadoop 3.x 建议使用 OpenJDK 8 或 11；Hadoop 2.7.x 常用 OpenJDK 8。
- 关注 CPU 指令集与平台适配：部分 Hadoop 3.x 构建对 AVX2 等有要求，老旧 CPU 可能触发本地库不兼容或性能问题。
- 需要更强生态工具链与图形化管理时，可考虑 CDP/Cloudera 或 HDP 等发行版（企业支持、集成与升级路径更清晰）。
二 推荐组合与适用场景
| 场景 |
Ubuntu 版本 |
Hadoop/HDFS 版本 |
Java 版本 |
说明 |
| 学习/实验/单机 PoC |
22.04 LTS 或 24.04 LTS |
3.3.x（如 3.3.4） |
OpenJDK 8 |
资料丰富、安装步骤标准化，便于快速上手 |
| 生产通用 |
20.04 LTS 或 22.04 LTS |
3.3.x（稳定小版本） |
OpenJDK 8/11 |
稳定性与生态支持均衡，便于与周边组件对接 |
| 存量维护 |
18.04 LTS |
2.7.x |
OpenJDK 8 |
保持现状，减少迁移风险，规划逐步升级 |
| 企业支持/工具链完善 |
20.04/22.04 LTS |
CDP/HDP 对应 Hadoop 3.x |
OpenJDK 8/11 |
官方支持、监控/升级/安全补丁一体化管理 |
以上组合基于 Hadoop 3.x 对 Ubuntu 16.04+ 的适配、3.3.x 的实操可用性，以及 2.7.x 的广泛存量实践；Java 8/11 为 3.x 常用选择，2.7.x 常用 Java 8。
三 快速决策清单
- 明确诉求：是否需要 NameNode HA、纠删码、YARN 增强 等 3.x 特性；若不需要，2.7.x 仍可胜任。
- 盘点环境：CPU 是否支持 AVX2；若不支持，优先选 2.7.x 或 Hadoop 3.x 的 “no AVX” 构建；内存建议 ≥8GB 起步。
- 选择 Java：Hadoop 3.x 选 OpenJDK 8/11；Hadoop 2.7.x 选 OpenJDK 8。
- 规划升级：避免 跨大版本直跳（如 1.x → 3.x），优先 2.x → 3.x 过渡；先做备份与演练。
- 选择发行版：需要企业级支持与工具链时选 CDP/HDP，否则用 Apache 官方发行版 更灵活。
四 验证与上线步骤
- 环境准备：更新系统（sudo apt update && sudo apt upgrade -y），安装 build-essential、openssh-server，配置 SSH 免密。
- 安装 Java：安装 OpenJDK 8/11，配置 JAVA_HOME 与 PATH。
- 部署 Hadoop：下载解压 Hadoop 3.3.x（如 3.3.4）至 /usr/local/hadoop，配置 HADOOP_HOME 与 PATH。
- 配置核心文件：
- core-site.xml：设置 fs.defaultFS=hdfs://localhost:9000 与 hadoop.tmp.dir。
- hdfs-site.xml：设置 dfs.replication（单机为 1）、dfs.namenode.name.dir、dfs.datanode.data.dir。
- 初始化与启动：创建数据目录并赋权，执行 hdfs namenode -format，启动 start-dfs.sh，用 jps 检查 NameNode/DataNode。
- 功能与连通性验证：
- 命令行：hdfs dfs -mkdir -p /user/yourname；hdfs dfs -put；hdfs dfs -ls。
- Web UI：访问 9870（Hadoop 3.x）或 50070（Hadoop 2.x）查看集群状态。
- 日志与排障：查看 $HADOOP_HOME/logs，必要时用 ldd 检查本地库依赖。
五 常见问题与规避
- Java 未设置或路径错误：报 “JAVA_HOME not set”，检查 JAVA_HOME 与 hadoop-env.sh 配置。
- 端口冲突：NameNode 端口 9000 被占用，修改 core-site.xml 的 fs.defaultFS 端口。
- 权限问题：出现 “Permission denied”，修正数据目录权限或以正确用户启动；生产不建议关闭 dfs.permissions.enabled。
- 本地库/CPU 不兼容：老 CPU 运行 Hadoop 3.x 官方构建可能异常，改用 2.7.x 或 Hadoop 3.x 的 no-AVX 构建。
- 频繁格式化 NameNode：会损坏元数据，仅在首次或明确清盘时执行。
- 升级风险：跨大版本升级需谨慎，务必 备份 fsimage/edits 与数据目录，先在测试环境演练。