centos

如何在CentOS上安装和配置Hadoopx版本

小樊
91
2025-02-12 05:39:27
栏目: 智能运维

在CentOS上安装和配置Hadoop的步骤如下:

  1. 安装JDK

    • 下载JDK安装包,例如JDK 1.8:JDK下载地址
    • 解压并配置环境变量。编辑/etc/profile文件,添加以下内容:
      export JAVA_HOME=/usr/java/jdk1.8.0_211
      export CLASSPATH=.:$JAVA_HOME/lib
      export PATH=$PATH:$JAVA_HOME/bin
      
    • 使配置生效:
      source /etc/profile
      
    • 验证Java安装:
      java -version
      
  2. 下载和解压Hadoop

    • Hadoop官网下载所需版本的Hadoop安装包,例如Hadoop 3.3.1。
    • 解压安装包到指定目录,例如/usr/local/hadoop
      tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop
      
  3. 配置Hadoop环境变量

    • 编辑~/.bashrc文件,添加以下内容:
      export HADOOP_HOME=/usr/local/hadoop
      export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
      export HADOOP_MAPRED_HOME=$HADOOP_HOME
      export HADOOP_COMMON_HOME=$HADOOP_HOME
      export HADOOP_HDFS_HOME=$HADOOP_HOME
      export YARN_HOME=$HADOOP_HOME
      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
      export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
      
    • 使配置生效:
      source ~/.bashrc
      
  4. 配置Hadoop配置文件

    • 进入Hadoop安装目录的etc/hadoop目录。
    • 编辑core-site.xml文件,设置默认文件系统:
      <configuration>
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://namenode:9000</value>
        </property>
      </configuration>
      
    • 编辑hdfs-site.xml文件,配置HDFS相关参数:
      <configuration>
        <property>
          <name>dfs.replication</name>
          <value>3</value>
        </property>
        <property>
          <name>dfs.namenode.name.dir</name>
          <value>/usr/local/hadoop/hdfs/namenode</value>
        </property>
        <property>
          <name>dfs.datanode.data.dir</name>
          <value>/usr/local/hadoop/hdfs/datanode</value>
        </property>
      </configuration>
      
    • 编辑mapred-site.xml文件,配置MapReduce框架:
      <configuration>
        <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
      </configuration>
      
    • 编辑yarn-site.xml文件,配置YARN相关参数:
      <configuration>
        <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
        </property>
        <property>
          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
      </configuration>
      
  5. 格式化HDFS

    • 在NameNode上运行以下命令格式化HDFS:
      hdfs namenode -format
      
  6. 启动Hadoop服务

    • 启动HDFS:
      start-dfs.sh
      
    • 启动YARN:
      start-yarn.sh
      
  7. 验证安装

    • 通过访问Hadoop的Web界面来验证安装是否成功:
      • NameNode: http://namenode:9000
      • ResourceManager: http://resourcemanager:8088

, , ,

0
看了该问题的人还看了