在CentOS上部署Hadoop的步骤是什么

在CentOS上部署Hadoop的步骤如下：

1. 准备工作：

   • 确保操作系统为CentOS 7/8或更高版本。
   • 安装JDK 8，配置环境变量。
   • 配置SSH，确保节点之间可以通过SSH无密码登录。

2. 安装Hadoop：

   • 从Apache Hadoop官方网站下载最新版本的Hadoop（例如Hadoop 3.3.1）。
   • 解压Hadoop文件并移动到指定目录（如/usr/local/hadoop）。

3. 配置环境变量：

   • 编辑/etc/profile文件，添加Hadoop的环境变量：

     export HADOOP_HOME=/usr/local/hadoop
     export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     

   • 保存并退出，然后执行source /etc/profile使配置生效。

4. 配置Hadoop主要文件：

   • 编辑core-site.xml，配置文件系统的默认URI：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

   • 编辑hdfs-site.xml，配置HDFS的存储目录和副本数：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/hdfs/datanode</value>
         </property>
     </configuration>
     

   • 编辑mapred-site.xml和yarn-site.xml，配置MapReduce和YARN的相关信息。

5. 格式化HDFS：

   • 在主节点上执行以下命令格式化HDFS：

     hdfs namenode -format
     

6. 启动Hadoop集群：

   • 在主节点上执行以下命令启动Hadoop集群：

     start-dfs.sh
     start-yarn.sh
     

7. 验证集群：

   • 使用以下命令验证Hadoop集群的运行状态：

     jps
     

   • 确认输出中包含NameNode、DataNode、ResourceManager、NodeManager等进程。

这些步骤涵盖了在CentOS上部署Hadoop的基本流程，确保每个步骤都正确执行可以有效避免后续的问题。