Hadoop在Ubuntu上的安装教程

在Ubuntu上安装Hadoop可以分为几个主要步骤：准备环境、安装Java、下载Hadoop、配置Hadoop、启动Hadoop服务以及验证安装。以下是详细的步骤：

环境准备

• 操作系统：建议使用Ubuntu 18.04或更高版本。
• 硬件要求：至少4GB内存（推荐8GB以上）。
• 硬盘空间：至少20GB可用空间。

安装Java

Hadoop需要Java运行环境，因此首先需要安装Java。

sudo apt update
sudo apt install openjdk-8-jdk

安装完成后，验证Java版本：

java -version

下载Hadoop

从Apache Hadoop官网下载最新版本的Hadoop，例如Hadoop 3.3.5。

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop

配置Hadoop

1. 配置环境变量：

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后，使环境变量生效：

source ~/.bashrc

2. 创建Hadoop用户：

sudo groupadd hadoop
sudo useradd -g hadoop hadoop

3. 设置文件权限：

sudo chgrp hadoop /opt/hadoop-3.3.5
sudo chmod 755 /opt/hadoop-3.3.5
sudo chown -R hadoop:hadoop /opt/hadoop-3.3.5

4. 配置Hadoop配置文件：

• core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

• hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

• mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

启动Hadoop

1. 格式化HDFS：

sudo -u hdfs hadoop namenode -format

2. 启动Hadoop服务：

sudo -u hdfs hadoop-daemon.sh start namenode
sudo -u hdfs hadoop-daemon.sh start datanode
sudo -u yarn hadoop-daemon.sh start resourcemanager
sudo -u yarn hadoop-daemon.sh start nodemanager

验证安装

1. 检查HDFS状态：

hdfs dfsadmin -report

2. 运行示例程序：

sudo -u hadoop hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output

3. 查看结果：

sudo -u hadoop hadoop dfs -cat /output/_words_count_

通过以上步骤，您已经在Ubuntu上成功安装并配置了Hadoop。现在，您可以开始使用Hadoop进行大数据处理了。