Ubuntu下Hadoop集群如何搭建

在Ubuntu下搭建Hadoop集群是一个复杂的过程，涉及多个步骤和配置。以下是一个基本的指南，帮助你在Ubuntu上搭建Hadoop集群。

环境准备

• 硬件准备：确保你有足够数量的计算机作为集群节点，每台计算机都需要满足一定的硬件要求，包括CPU、内存、硬盘和网络连接。
• 软件准备：安装Ubuntu操作系统，并确保所有节点都运行相同版本的Ubuntu。

安装Java环境

Hadoop依赖于Java运行环境，因此首先需要安装Java。

sudo apt update
sudo apt install openjdk-8-jdk

验证Java安装：

java -version

下载并解压Hadoop

访问Apache Hadoop官网下载最新版本的Hadoop安装包，例如Hadoop 3.3.5。

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop

配置Hadoop环境变量

编辑~/.bashrc文件，添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

使配置生效：

source ~/.bashrc

配置Hadoop

进入Hadoop配置目录：

cd /opt/hadoop

编辑Hadoop配置文件：

• hadoop-env.sh：

sudo nano hadoop-env.sh

添加以下行：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

• core-site.xml：

sudo nano core-site.xml

添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

• hdfs-site.xml：

sudo nano hdfs-site.xml

添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

• mapred-site.xml：

sudo nano mapred-site.xml

添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• yarn-site.xml：

sudo nano yarn-site.xml

添加以下内容：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
</configuration>

格式化HDFS

在终端中，运行以下命令以格式化HDFS文件系统：

hdfs namenode -format

启动Hadoop集群

在终端中，使用以下命令启动Hadoop：

start-dfs.sh
start-yarn.sh

验证Hadoop安装

在浏览器中访问以下地址，查看Hadoop Web界面：

• HDFS: http://localhost:50070
• YARN: http://localhost:8088

你应该能够看到Hadoop的Web界面，如果能正常访问，则表示Hadoop集群搭建成功。

请注意，上述信息提供了一般性的指导，具体的配置步骤可能会有所不同，建议根据最新的Hadoop官方文档和实际需求进行调整。