CentOS HDFS配置步骤全解析

在CentOS系统上配置Hadoop分布式文件系统（HDFS）是一个涉及多个步骤的过程。以下是一个详细的配置指南：

准备工作

1. 安装Java：

   • 确保系统已安装合适的JDK版本，并配置好JAVA_HOME环境变量。

   yum install java-1.8.0-openjdk-devel -y
   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
   export PATH=$JAVA_HOME/bin:$PATH
   

2. 安装Hadoop：

   • 从Apache Hadoop官方网站下载对应版本的Hadoop发行包，并解压到指定目录（例如/usr/local/hadoop）。

   wget https://downloads.apache.org/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz
   tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
   mv /usr/local/hadoop-3.3.4 /usr/local/hadoop
   

环境配置

1. 设置环境变量：

   • 编辑/etc/profile文件，添加以下环境变量：

     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
     export PATH=$JAVA_HOME/bin:$PATH
     export HADOOP_HOME=/usr/local/hadoop
     export PATH=$HADOOP_HOME/bin:$PATH
     

   • 保存文件后，运行source /etc/profile使配置生效。

2. SSH免密登录：

   • 为所有Hadoop节点配置SSH免密登录。

   ssh-keygen -t rsa
   ssh-copy-id user@nodeX
   

网络配置

1. 主机名：

   • 确保每个节点的主机名正确配置并可通过网络访问。

2. 静态IP：

   • 为每个节点配置静态IP地址。编辑网络配置文件（例如/etc/sysconfig/network-scripts/ifcfg-eth0），设置静态IP、子网掩码和网关。

3. 时间同步：

   • 使用NTP服务同步所有节点的时间。

   yum install ntp
   ntpdate ntp.aliyun.com
   

HDFS配置

1. 核心配置文件（core-site.xml）：

   • 配置HDFS默认文件系统。

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://namenode_hostname:9000</value>
       </property>
   </configuration>
   

2. HDFS配置文件（hdfs-site.xml）：

   • 配置HDFS数据存储路径和副本数等。

   <configuration>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/path/to/namenode/data</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/path/to/datanode/data</value>
       </property>
       <property>
           <name>dfs.replication</name>
           <value>3</value>
       </property>
   </configuration>
   

格式化NameNode

在NameNode节点上执行以下命令格式化NameNode：

hdfs namenode -format

启动HDFS

在NameNode节点上执行以下命令启动HDFS集群：

/usr/local/hadoop/sbin/start-dfs.sh

验证和停止

1. 验证：

   • 使用jps命令检查HDFS守护进程是否已启动。
   • 访问http://namenode_hostname:50070查看HDFS Web UI。

2. 停止：

   • 在NameNode节点上执行以下命令停止HDFS集群：

   /usr/local/hadoop/sbin/stop-dfs.sh
   

以上步骤仅为基本指南，实际配置可能因Hadoop版本和集群规模而异。请务必参考Hadoop官方文档获取更详细和准确的信息。