如何检查Ubuntu HDFS配置是否正确

检查Ubuntu HDFS配置是否正确可从以下方面入手：

1. 查看配置文件
   检查/etc/hadoop/conf/目录下的core-site.xml、hdfs-site.xml等文件，确认fs.defaultFS、dfs.namenode.name.dir、dfs.datanode.data.dir等参数配置正确。
2. 检查进程状态
   使用jps命令查看NameNode、DataNode等进程是否正常运行。
3. 查看日志文件
   查看/var/log/hadoop-hdfs/目录下的日志（如hadoop-namenode-*.log），排查错误信息。
4. 使用命令行工具
   • hdfs dfsadmin -report：查看集群状态、DataNode信息等。
   • hdfs fsck /：检查文件系统一致性和完整性。
5. 访问Web界面
   通过浏览器访问NameNode Web UI（默认http://<namenode-ip>:9870），查看集群状态。
6. 检查网络与权限
   确保节点间网络连通，防火墙开放必要端口（如9000、50070），并验证Hadoop用户权限。
7. 验证存储空间
   使用df -h检查DataNode磁盘空间是否充足。

参考来源：