Ubuntu上如何安装Hadoop

在Ubuntu上安装Hadoop需要经过以下几个步骤：

1. 安装Java（Hadoop需要Java环境）

打开终端，输入以下命令安装Java：

sudo apt update
sudo apt install openjdk-8-jdk

验证Java安装成功：

java -version

2. 下载Hadoop

访问Hadoop官方网站（https://hadoop.apache.org/releases.html），选择合适的版本下载。例如，要下载Hadoop 3.3.1，可以使用以下命令：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

3. 解压Hadoop

将下载的Hadoop压缩包解压到/usr/local目录下：

sudo tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

重命名解压后的文件夹：

sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop

4. 配置Hadoop

编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，设置Java环境变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

编辑/usr/local/hadoop/etc/hadoop/core-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

编辑/usr/local/hadoop/etc/hadoop/mapred-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

编辑/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5. 设置Hadoop环境变量

编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效：

source /etc/profile

6. 格式化HDFS

在首次启动Hadoop之前，需要对HDFS进行格式化：

hdfs namenode -format

7. 启动Hadoop

启动HDFS：

start-dfs.sh

启动YARN：

start-yarn.sh

8. 验证Hadoop安装

访问Hadoop Web界面，检查HDFS和YARN是否正常运行：

• HDFS NameNode: http://localhost:50070/
• YARN ResourceManager: http://localhost:8088/

至此，您已经在Ubuntu上成功安装了Hadoop。