如何在CentOS上配置Hadoop

在CentOS上配置Hadoop可以分为多个步骤，以下是详细的步骤概述：

1. 安装和配置Java环境：

   • 安装JDK，推荐使用OpenJDK 1.8。可以使用以下命令安装：

     sudo yum install java-1.8.0-openjdk-devel
     

   • 配置Java环境变量，编辑/etc/profile文件，添加以下内容：

     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
     export PATH=$PATH:$JAVA_HOME/bin
     

     然后执行source /etc/profile使配置生效。

2. 下载和解压Hadoop：

   • 从Apache Hadoop官网下载最新版本的Hadoop压缩包，例如Hadoop 3.3.1：下载链接
   • 解压Hadoop压缩包到指定目录，例如/opt/hadoop：

     tar -xzvf hadoop-3.3.1.tar.gz -C /opt/hadoop
     

3. 配置Hadoop环境变量：

   • 编辑/etc/profile文件，添加以下内容：

     export HADOOP_HOME=/opt/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     

     然后执行source /etc/profile使配置生效。

4. 配置Hadoop集群：

   • 复制Hadoop配置文件模板并修改：
     • 复制/opt/hadoop/etc/hadoop/core-site.xml.template为/opt/hadoop/etc/hadoop/core-site.xml，并修改如下内容：

       <configuration>
           <property>
               <name>fs.defaultFS</name>
               <value>hdfs://localhost:9000</value>
           </property>
       </configuration>
       

     • 复制/opt/hadoop/etc/hadoop/hdfs-site.xml.template为/opt/hadoop/etc/hadoop/hdfs-site.xml，并修改如下内容：

       <configuration>
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
       </configuration>
       

     • 复制/opt/hadoop/etc/hadoop/mapred-site.xml.template为/opt/hadoop/etc/hadoop/mapred-site.xml，并修改如下内容：

       <configuration>
           <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
           </property>
       </configuration>
       

     • 复制/opt/hadoop/etc/hadoop/yarn-site.xml.template为/opt/hadoop/etc/hadoop/yarn-site.xml，并修改如下内容：

       <configuration>
           <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>master</value>
           </property>
       </configuration>
       

5. 格式化HDFS：

   • 在主节点上执行以下命令格式化HDFS：

     hdfs namenode -format
     

6. 启动Hadoop集群：

   • 启动HDFS和YARN服务：

     start-dfs.sh
     start-yarn.sh
     

7. 验证Hadoop是否正常运行：

   • 使用jps命令查看Hadoop进程是否已启动，如果看到NameNode、DataNode、ResourceManager、NodeManager等进程，则表示Hadoop集群已成功启动。

8. 配置免密钥登录：

   • 在各节点上生成密钥对并配置免密钥登录，以便在节点之间无需密码即可互相访问。

这些步骤涵盖了在CentOS上配置Hadoop的基本流程，具体操作可能会因Hadoop版本和环境而有所不同，建议参考官方文档进行详细配置。