怎样检查centos hdfs配置

检查CentOS上HDFS配置的步骤如下：

1. 查看配置文件

   • 主配置文件位于/etc/hadoop/conf/（或$HADOOP_HOME/etc/hadoop/）目录下，重点检查：
     • core-site.xml：确认fs.defaultFS（默认文件系统地址）是否正确。
     • hdfs-site.xml：检查dfs.replication（副本数）、dfs.namenode.name.dir（NameNode元数据目录）、dfs.datanode.data.dir（DataNode数据目录）等参数。
     • 若使用YARN，检查yarn-site.xml中yarn.resourcemanager.hostname等配置。

2. 验证配置正确性

   • 使用hdfs getconf -confKey <参数名>查看特定配置项，如dfs.replication。
   • 执行hdfs dfsadmin -report查看集群状态，包括DataNode数量、容量等。

3. 检查服务状态

   • 通过jps命令查看NameNode、DataNode等进程是否运行。
   • 若服务未启动，使用start-dfs.sh（和start-yarn.sh）启动集群。

4. 访问Web界面

   • HDFS Web UI：http://<namenode-ip>:50070（Hadoop 2.x）或http://<namenode-ip>:9870（Hadoop 3.x），查看集群拓扑和状态。

5. 测试文件系统

   • 使用hdfs dfs -ls /查看根目录文件，或创建测试文件验证读写功能。

6. 查看日志

   • 日志文件位于/var/log/hadoop-hdfs/或$HADOOP_HOME/logs/，通过tail -f查看错误信息。

注意：首次配置需格式化NameNode（hdfs namenode -format），但仅限首次使用，会清除原有数据。

参考来源：