HDFS CentOS配置步骤全攻略

在CentOS上配置Hadoop分布式文件系统（HDFS）是一个相对复杂的过程，但以下步骤将为你提供一个全面的指南。以下是基于CentOS 7的详细配置步骤：

准备工作

1. 操作系统：确保你的服务器运行的是CentOS 7或更高版本。
2. Java环境：安装JDK 8，因为Hadoop是基于Java的。
3. SSH配置：配置SSH以便在节点之间进行无密码登录。

安装和配置环境

1. 安装JDK：

   • 下载JDK 8安装包并解压到指定目录，例如 /usr/local/jdk。
   • 配置环境变量，编辑 /etc/profile 文件，添加以下内容：

     export JAVA_HOME=/usr/local/jdk
     export PATH=$JAVA_HOME/bin:$PATH
     

   • 使配置生效：

     source /etc/profile
     

2. 安装SSH：

   • 安装OpenSSH客户端和服务器：

     sudo yum install -y openssh-server openssh-clients
     

   • 启动并设置SSH服务开机自启：

     sudo systemctl start sshd
     sudo systemctl enable sshd
     

   • 生成SSH密钥对：

     ssh-keygen -t rsa -P ""
     

   • 将公钥复制到授权的密钥文件：

     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
     

   • 测试SSH无密码登录：

     ssh localhost
     

3. 安装Hadoop：

   • 从Apache Hadoop官方网站下载最新版本的Hadoop。
   • 解压Hadoop到指定目录，例如 /usr/local/hadoop。
   • 配置环境变量，编辑 /etc/profile 文件，添加以下内容：

     export HADOOP_HOME=/usr/local/hadoop
     export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     

   • 使配置生效：

     source /etc/profile
     

配置Hadoop

1. 配置core-site.xml：

   • 编辑 /usr/local/hadoop/etc/hadoop/core-site.xml 文件，添加以下内容：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

2. 配置hdfs-site.xml：

   • 编辑 /usr/local/hadoop/etc/hadoop/hdfs-site.xml 文件，添加以下内容：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/hdfs/datanode</value>
         </property>
     </configuration>
     

3. 配置slaves：

   • 将配置完成的Hadoop文件夹分发到所有的其他节点。

启动HDFS

1. 格式化NameNode（第一次启动时需要）：

   cd /usr/local/hadoop
   bin/hdfs namenode -format
   

2. 启动HDFS：

   sbin/start-dfs.sh
   

3. 验证HDFS：

   • 打开浏览器，访问 http://localhost:50070 查看NameNode的Web界面。
   • 使用以下命令检查HDFS状态：

     hdfs dfsadmin -report
     

注意事项

• 确保所有节点的防火墙已关闭。
• 确保所有节点的时间同步，可以使用NTP服务。
• 在配置免密登录时，确保所有节点的公钥都已正确分发和添加。

以上步骤涵盖了在CentOS上配置HDFS的基本流程。根据具体需求，你可能还需要进行更多的配置和优化。希望这些信息能帮助你成功配置HDFS。