Ubuntu HDFS如何兼容测试

Ubuntu 上 HDFS 兼容性测试方案

一 测试目标与范围

• 验证 Ubuntu 版本 与 Hadoop/HDFS 的适配性（如 16.04/18.04/20.04/22.04 与 Hadoop 2.7.x/3.3.x 的组合）。
• 验证 Java 版本 与 Hadoop 的兼容性（优先 JDK 8，部分发行版支持 JDK 11）。
• 验证 HDFS 读写、权限、配额、HA、异构客户端 等核心能力在目标环境中的表现。
• 识别 Shell/编码/权限 等 Ubuntu 常见环境差异导致的兼容性问题。

二 环境与版本矩阵建议

• 操作系统与 Java 建议
  • Ubuntu：16.04/18.04/20.04/22.04 LTS
  • Java：JDK 8（优先）；部分 Hadoop 3.x 版本可在 JDK 11 上运行（以官方文档为准）
• Hadoop/HDFS 版本建议
  • 稳定分支：Hadoop 3.3.x（如 3.3.1/3.3.6）
  • 维护分支：Hadoop 2.10.x（如 2.10.2）
• 典型组合示例（供参考，具体以官方兼容矩阵为准）
  • Hadoop 2.7.1 + JDK 1.8 + Ubuntu 16.04+
  • Hadoop 2.10.1 + JDK 1.8 + Ubuntu 18.04+
  • Hadoop 3.3.1 + JDK 1.8 + Ubuntu 20.04+
• 说明
  • Hadoop 3.x 通常要求 Java 8；若使用 JDK 11，需确认所用发行版对 3.3.x 的官方支持情况。
  • 32 位 Ubuntu 与较新 Hadoop 版本适配性较差，建议优先 64 位 环境。

三 测试环境与部署要点

• 部署三种运行模式用于分层验证
  • 本地模式：不启动守护进程，快速验证 API/Shell 基本可用
  • 伪分布式模式：单机启动 NameNode/DataNode，覆盖完整 HDFS 读写链路
  • 完全分布式模式：多节点集群，验证 复制、容错、HA、均衡 等
• 基础配置要点（示例）
  • core-site.xml
    • fs.defaultFS：hdfs://localhost:9000
    • hadoop.tmp.dir：/tmp/hadoop-${user.name}
  • hdfs-site.xml
    • dfs.replication：1（伪分布式）/ 3（集群）
    • dfs.namenode.name.dir：file:///home/hadoop/dfs/name
    • dfs.datanode.data.dir：file:///home/hadoop/dfs/data
• Ubuntu 专项检查
  • 默认 /bin/sh -> dash，部分安装/脚本使用 () 语法会失败；建议脚本首行使用 #!/bin/bash，或执行前运行：sudo dpkg-reconfigure dash 选择 No 将 /bin/sh 指向 bash。
  • 统一 UTF-8 环境，避免中文乱码；必要时用 iconv 转码后再上传。

四 兼容性测试用例与命令清单

• 基础连通与进程
  • hadoop version
  • jps（应见 NameNode/DataNode/ResourceManager/NodeManager 等）
  • hdfs dfsadmin -report
• 文件系统基本操作
  • hdfs dfs -mkdir -p /test/compat
  • hdfs dfs -put -f local.txt /test/compat/file1.txt
  • hdfs dfs -cat /test/compat/file1.txt
  • hdfs dfs -get /test/compat/file1.txt ./file1_get.txt
  • hdfs dfs -ls -h /test/compat
  • hdfs dfs -rm -r /test/compat
• 权限与安全
  • sudo -u hdfs hdfs dfs -chown -R ubuntu:ubuntu /test/compat
  • hdfs dfs -chmod 755 /test/compat
  • hdfs dfsadmin -setQuota 100M /test/compat
  • hdfs dfsadmin -setSpaceQuota 1G /test/compat
• 复制与容错
  • hdfs dfs -setrep 3 /test/compat/file1.txt
  • hdfs fsck /test/compat/file1.txt -files -blocks -locations
• 异构客户端与挂载
  • libhdfs（C/C++）读写验证
  • FUSE 挂载：hadoop-fuse-dfs dfs://localhost:8020 /mnt/hdfs；在 /mnt/hdfs 下执行 ls/touch 并核对 HDFS 一致性
• 编码与国际化
  • 准备 GBK/ISO-8859 文本，使用 iconv -f GBK -t UTF-8 转码后上传，hdfs dfs -cat 验证中文显示
  • 示例：iconv -f GBK -t UTF-8 src.txt > dst.txt && hdfs dfs -put dst.txt /test/compat/

五 判定标准与常见问题处理

• 判定标准
  • 基础命令返回码为 0，HDFS 文件 一致校验 通过（如 md5/长度）
  • 进程齐全、Web UI 可访问、NameNode/DataNode 日志无 ERROR
  • 权限/配额设置生效，fsck 无 corruption
  • 异构客户端与 FUSE 挂载读写结果与 HDFS 一致
• 常见问题与修复
  • “hdfs: command not found / 找不到安装包”
    • 检查 PATH/HADOOP_HOME，确认已安装 openjdk-8-jdk，必要时重新安装或修正环境变量
  • “/bin/sh: 1: Syntax error: “(” unexpected”
    • Ubuntu 默认 dash 不兼容部分脚本语法；将脚本首行改为 #!/bin/bash 或切换 /bin/sh -> bash
  • 中文乱码
    • 源文件转码为 UTF-8 后上传（如 GBK -> UTF-8）
  • 权限/空间不足
    • 使用 hdfs dfsadmin -setQuota/setSpaceQuota 调整；必要时以 hdfs 用户执行授权
  • 客户端找不到或命令不可用
    • 进入 HDFS 客户端目录（如 /opt/client/HDFS/hadoop/bin）执行，或先 source /opt/client/bigdata_env 初始化环境