Hadoop 集群在 Ubuntu 上怎么搭建 - 问答

搭建Hadoop集群是一个复杂的过程，涉及多个步骤和配置。以下是一个基本的指南，帮助你在Ubuntu上搭建Hadoop集群。

环境准备

硬件要求：确保每台机器满足Hadoop的最低配置要求，例如双核CPU、8GB内存、100GB硬盘。
网络配置：所有机器需要在同一网络中，并且能够相互通信。
SSH无密码登录：在所有机器之间配置SSH无密码登录，以便于管理和部署。

安装Java

Hadoop需要Java运行环境，通常使用OpenJDK。

sudo apt update
sudo apt install openjdk-8-jdk
java -version

安装Hadoop

下载Hadoop：从Apache Hadoop官网下载最新版本的Hadoop。

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

解压Hadoop：将下载的Hadoop安装包解压到指定目录，例如/usr/local/hadoop。

sudo tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop

配置Hadoop环境变量：编辑~/.bashrc文件，添加以下行：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后，使用以下命令使环境变量生效：

source ~/.bashrc

配置Hadoop

编辑Hadoop配置文件：

core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datanode</value>
  </property>
</configuration>

mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
  </property>
</configuration>

格式化HDFS：

sudo -u hdfs hadoop namenode -format

启动Hadoop服务：

sudo -u hdfs hadoop-daemon.sh start namenode
sudo -u hdfs hadoop-daemon.sh start datanode
sudo -u yarn hadoop-daemon.sh start resourcemanager
sudo -u yarn hadoop-daemon.sh start nodemanager

验证集群状态

在浏览器中访问Hadoop的Web界面，例如：

HDFS状态：http://localhost:9000/cluster/namenode
YARN状态：http://localhost:8088/cluster/scheduler

如果能够看到Hadoop的Web界面，则表示Hadoop集群搭建成功。

请注意，以上步骤提供了一个基本的Hadoop集群搭建流程。根据具体需求和环境，可能需要进行更多的配置和优化。建议参考Hadoop官方文档以获取更多详细信息和进一步的配置。

0 赞

0 踩