CentOS HDFS配置文档在哪里找

在CentOS系统上配置Hadoop分布式文件系统（HDFS）涉及多个步骤，包括安装Hadoop、配置环境变量、修改配置文件以及启动HDFS服务等。以下是一个详细的配置步骤指南：

安装Java环境

在CentOS上安装Java环境是配置Hadoop的前提条件。你可以使用以下命令来安装OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

然后，设置Java环境变量：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH

安装Hadoop

从Apache Hadoop官网下载最新版Hadoop，并解压到指定目录。例如：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/

然后，配置环境变量，将Hadoop路径添加到/etc/profile文件中：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$PATH

使配置生效：

source /etc/profile

配置Hadoop环境变量

编辑 /etc/profile.d/hadoop.sh 文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$PATH

使环境变量生效：

source /etc/profile.d/hadoop.sh

配置HDFS

配置core-site.xml

编辑 $HADOOP_HOME/etc/hadoop/core-site.xml 文件，添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop</value>
  </property>
</configuration>

配置hdfs-site.xml

编辑 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件，添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/path/to/namenode/dir</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/path/to/datanode/dir</value>
  </property>
</configuration>

配置yarn-site.xml

编辑 $HADOOP_HOME/etc/hadoop/yarn-site.xml 文件，添加以下内容：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

配置mapred-site.xml

编辑 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件，添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

格式化NameNode

在启动HDFS之前，需要格式化NameNode：

hdfs namenode -format

启动HDFS

在NameNode节点上启动HDFS服务：

start-dfs.sh

验证HDFS配置

可以使用以下命令检查HDFS进程是否正常运行：

jps

预期看到NameNode、DataNode等进程。

此外，还可以访问HDFS的Web界面来验证配置是否成功。默认的端口是50070，访问 http://namenode:50070 查看HDFS的状态。

请注意，以上步骤是一个基本的指南，具体配置可能会根据你的实际环境和需求有所不同。在进行任何配置更改后，都建议进行适当的测试以验证其正确性。