Hadoop集群如何在Ubuntu上搭建

在Ubuntu上搭建Hadoop集群是一个相对复杂的过程，涉及多个步骤和组件。以下是一个详细的步骤指南，帮助你在Ubuntu上搭建Hadoop集群：

环境准备

1. 硬件准备：确保你有足够数量的计算机作为集群节点，每台计算机都需要满足一定的硬件要求，包括CPU、内存、硬盘和网络连接。
2. 软件准备：安装Ubuntu操作系统，并确保所有节点都运行相同版本的Ubuntu。

安装Java环境

Hadoop依赖于Java运行环境，因此首先需要安装Java。

sudo apt-get update
sudo apt-get install openjdk-8-jdk
java -version

配置SSH无密码登录

在所有节点上配置SSH无密码登录，以便节点之间可以互相访问。

1. 生成密钥对：

ssh-keygen -t rsa

2. 将公钥分发到所有节点，并在各节点上将公钥加入授权：

scp ~/.ssh/id_rsa.pub user@slave_node_ip:/home/user/.ssh/authorized_keys

下载并解压Hadoop

从Hadoop官网下载最新版本的Hadoop安装包，并解压到指定目录。

wget http://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xvf hadoop-3.3.4.tar.gz -C /usr/local

配置Hadoop环境变量

在master和slave两台服务器上，编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行以下命令使配置生效：

source ~/.bashrc

配置Hadoop

进入Hadoop安装目录，复制etc/hadoop目录下的所有文件到您的用户目录下，并编辑以下配置文件：

• core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

• hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hdfs/datanode</value>
  </property>
</configuration>

• yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
</configuration>

格式化NameNode

在master服务器上执行以下命令以格式化HDFS文件系统：

hdfs namenode -format

启动Hadoop集群

1. 启动HDFS：

start-dfs.sh

2. 启动YARN：

start-yarn.sh

验证Hadoop安装

在浏览器中访问Hadoop的Web界面，检查HDFS和YARN服务是否正常运行。

• HDFS Web界面：http://master:50070
• YARN Web界面：http://master:8088

通过以上步骤，您已经在Ubuntu系统上成功搭建了一个Hadoop集群。现在，您可以开始使用Hadoop进行大数据处理了。