Hadoop在Ubuntu上如何配置 - 问答

在Ubuntu上配置Hadoop涉及多个步骤，包括系统准备、安装Java、下载Hadoop、配置环境变量、启动Hadoop服务等。以下是详细的配置指南：

系统要求

Ubuntu 18.04或更高版本
至少4GB内存（推荐8GB以上）
硬盘空间：至少20GB

安装Java

Hadoop依赖于Java环境，因此需要安装Java。以下是安装OpenJDK的命令：

sudo apt-get update
sudo apt-get install openjdk-8-jdk

安装完成后，验证Java是否已正确安装：

java -version

下载和安装Hadoop

从Apache Hadoop官网下载最新版本的Hadoop二进制包，解压到指定目录，例如/usr/local/hadoop：

cd /usr/local
sudo wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
sudo tar -zxvf hadoop-3.3.4.tar.gz

配置Hadoop环境变量

编辑~/.bashrc文件，添加以下行：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后，使用以下命令使环境变量生效：

source ~/.bashrc

配置Hadoop核心文件

编辑/etc/hadoop/hadoop-env.sh文件，设置JAVA_HOME环境变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

编辑/etc/hadoop/core-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

编辑/etc/hadoop/hdfs-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

编辑/etc/hadoop/yarn-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

编辑/etc/hadoop/mapred-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

启动Hadoop

在终端中执行以下命令格式化HDFS：

sudo -u hdfs hadoop fs -format

启动Hadoop服务：

sudo -u hdfs hadoop-daemon.sh start namenode
sudo -u hdfs hadoop-daemon.sh start datanode
sudo -u yarn hadoop-daemon.sh start resourcemanager
sudo -u yarn hadoop-daemon.sh start nodemanager

验证Hadoop服务

在浏览器中访问http://localhost:50070，如果看到Hadoop的Web界面，则表示Hadoop服务已成功启动。

请注意，以上步骤是基于特定版本的Hadoop进行说明的，具体版本可能会有所不同，建议参考官方文档进行配置。

0 赞

0 踩