Ubuntu HDFS如何测试配置

Ubuntu HDFS配置测试步骤

一 前置检查

• 核对关键配置项：在 core-site.xml 中确认 fs.defaultFS（如：hdfs://localhost:9000）与 hadoop.tmp.dir；在 hdfs-site.xml 中确认 dfs.replication、dfs.namenode.name.dir、dfs.datanode.data.dir 等路径与副本数是否符合预期。首次修改后需先格式化 NameNode 再启动。环境变量建议包含 JAVA_HOME、HADOOP_HOME、PATH。以上为验证前的必要检查点。

二 启动与连通性验证

• 启动服务：执行 start-dfs.sh 启动 NameNode 与 DataNode。
• 进程检查：运行 jps，应能看到 NameNode 与 DataNode（单机或伪分布式常见；若启用 YARN，还会看到 ResourceManager/NodeManager）。
• 端口连通：执行 netstat -tpnl | grep java，确认 HDFS RPC（默认 9000） 与 Web UI（默认 9870） 处于监听状态。
• Web 界面：浏览器访问 http://<主机名或IP>:9870，应能看到 HDFS NameNode Web UI。
• 集群概览：执行 hdfs dfsadmin -report，查看 Live Nodes、容量与使用情况。
• 连通性：如配置了远程节点，先完成 SSH 免密登录 测试（如 ssh slave1），确保节点间可无密码互通。以上步骤可快速判定 HDFS 是否按配置正常运行。

三 功能性测试

• 目录与权限：执行 hdfs dfs -ls / 查看根目录；必要时创建测试目录 hdfs dfs -mkdir /user/test。
• 文件操作：
  • 上传：hdfs dfs -put /path/to/local /user/test/file.txt
  • 查看：hdfs dfs -cat /user/test/file.txt
  • 下载：hdfs dfs -get /user/test/file.txt ./file.txt
  • 追加：hdfs dfs -appendToFile ~/hello.txt /user/test/file.txt
  • 删除：hdfs dfs -rm /user/test/file.txt
• 简单计算验证：运行示例 WordCount（示例 JAR 路径随版本不同，以下为常见路径示例）
  • 提交任务：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /user/test/file.txt /user/test/out
  • 查看结果：hdfs dfs -ls /user/test/out 与 hdfs dfs -cat /user/test/out/part-r-00000
• 健康检查：执行 hdfs fsck / 检查文件系统健康与块状态。以上用例覆盖常见的 HDFS 读写与运维命令，可验证配置的有效性与数据通路。

四 常见问题快速排查

• 进程未起或端口未监听：用 jps 确认进程，用 netstat -tpnl | grep java 检查 9000/9870 端口；若异常，查看 $HADOOP_HOME/logs 下 namenode/datanode 日志定位配置或权限问题。
• 配置与权限：复核 core-site.xml/hdfs-site.xml 的 fs.defaultFS、dfs.namenode.name.dir、dfs.datanode.data.dir 等路径是否存在且 HDFS 进程用户有读写权限；必要时重新 hdfs namenode -format（注意仅在初始化或明确需要时执行）。
• 节点与网络：多机环境先验证 SSH 免密；用 ping 测试节点连通；若启用防火墙，放行 HDFS 相关端口（如 9000、9870、50010 等）。
• 机架与拓扑：启用机架感知时，用 hdfs dfsadmin -printTopology 检查拓扑分布是否合理。以上方法覆盖最常见的启动、网络、权限与配置问题定位路径。