HDFS在CentOS上的配置文件有哪些

在CentOS上配置Hadoop分布式文件系统（HDFS）时，主要的配置文件包括以下四个：

1. core-site.xml：

   • 用于定义系统级别的参数，如HDFS的URL、Hadoop的临时目录等。
   • 示例配置：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/usr/local/hadoop/tmp</value>
         </property>
         <property>
             <name>hadoop.proxyuser.root.hosts</name>
             <value>*</value>
         </property>
         <property>
             <name>hadoop.proxyuser.root.groups</name>
             <value>*</value>
         </property>
     </configuration>
     

2. hdfs-site.xml：

   • 用于配置HDFS的特定参数，如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等。
   • 示例配置：

     <configuration>
         <property>
             <name>dfs.http.address</name>
             <value>localhost:9870</value>
         </property>
         <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>localhost:9870</value>
         </property>
         <property>
             <name>mapreduce.jobhistory.address</name>
             <value>localhost:10020</value>
         </property>
         <property>
             <name>mapreduce.jobhistory.webapp.address</name>
             <value>localhost:19888</value>
         </property>
     </configuration>
     

3. mapred-site.xml：

   • 用于配置MapReduce框架的参数。
   • 示例配置：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     

4. yarn-site.xml：

   • 用于配置YARN（Hadoop集群资源管理框架）的参数。
   • 示例配置：

     <configuration>
         <property>
             <name>yarn.resourcemanager.address</name>
             <value>localhost:8032</value>
         </property>
         <property>
             <name>yarn.resourcemanager.scheduler.address</name>
             <value>localhost:8030</value>
         </property>
         <property>
             <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>localhost:8031</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
             <value>org.apache.hadoop.mapred.ShuffleHandler</value>
         </property>
         <property>
             <name>yarn.nodemanager.vmem-check-enabled</name>
             <value>false</value>
         </property>
         <property>
             <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
             <value>99</value>
         </property>
         <property>
             <name>yarn.application.classpath</name>
             <value>/usr/lib/hadoop/client-0.20/lib/*</value>
         </property>
     </configuration>
     

这些配置文件通常位于Hadoop安装目录下的etc/hadoop文件夹中。在配置这些文件时，需要根据实际的集群环境和需求进行调整。例如，可以修改fs.defaultFS的值来指定NameNode的地址，调整dfs.replication的值来设置文件副本的数量等。