Linux下安装Hadoop的方法是什么

Hadoop是一个开源的分布式计算框架，广泛应用于大数据处理领域。它能够处理海量数据，并提供高可靠性和高扩展性。本文将详细介绍在Linux系统下安装Hadoop的步骤，帮助初学者快速上手。

1. 准备工作

在开始安装Hadoop之前，需要确保系统满足以下要求：

• 操作系统：Linux（本文以Ubuntu 20.04为例）
• Java环境：Hadoop依赖于Java，因此需要安装Java Development Kit (JDK)
• SSH：Hadoop使用SSH进行节点间的通信，因此需要安装并配置SSH
• 用户权限：建议使用普通用户进行安装和配置，避免使用root用户

1.1 更新系统

首先，更新系统以确保所有软件包都是最新的：

sudo apt update
sudo apt upgrade -y

1.2 安装Java

Hadoop需要Java环境，推荐安装OpenJDK 8或11。可以通过以下命令安装OpenJDK 11：

sudo apt install openjdk-11-jdk -y

安装完成后，验证Java版本：

java -version

输出应类似于：

openjdk version "11.0.11" 2021-04-20
OpenJDK Runtime Environment (build 11.0.11+9-Ubuntu-0ubuntu2.20.04)
OpenJDK 64-Bit Server VM (build 11.0.11+9-Ubuntu-0ubuntu2.20.04, mixed mode, sharing)

1.3 配置Java环境变量

为了方便使用，建议配置Java环境变量。编辑~/.bashrc文件：

nano ~/.bashrc

在文件末尾添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

保存并退出，然后使配置生效：

source ~/.bashrc

1.4 安装SSH

Hadoop使用SSH进行节点间的通信，因此需要安装SSH：

sudo apt install ssh -y

生成SSH密钥对：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

将公钥添加到authorized_keys文件中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

测试SSH连接：

ssh localhost

如果配置正确，应该可以无需密码登录到本地主机。

2. 下载并安装Hadoop

2.1 下载Hadoop

访问Hadoop官网下载最新版本的Hadoop。本文以Hadoop 3.3.1为例：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

2.2 解压Hadoop

将下载的Hadoop压缩包解压到指定目录，例如/usr/local：

sudo tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local

进入解压后的目录：

cd /usr/local

重命名Hadoop目录：

sudo mv hadoop-3.3.1 hadoop

2.3 配置Hadoop环境变量

编辑~/.bashrc文件：

nano ~/.bashrc

在文件末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出，然后使配置生效：

source ~/.bashrc

2.4 配置Hadoop

Hadoop的配置文件位于$HADOOP_HOME/etc/hadoop目录下。需要配置以下几个文件：

2.4.1 配置hadoop-env.sh

编辑hadoop-env.sh文件：

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

找到JAVA_HOME配置项，并设置为Java的安装路径：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

2.4.2 配置core-site.xml

编辑core-site.xml文件：

nano $HADOOP_HOME/etc/hadoop/core-site.xml

在<configuration>标签内添加以下内容：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

2.4.3 配置hdfs-site.xml

编辑hdfs-site.xml文件：

nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

在<configuration>标签内添加以下内容：

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/local/hadoop/data/namenode</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/local/hadoop/data/datanode</value>
</property>

2.4.4 配置mapred-site.xml

编辑mapred-site.xml文件：

nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

在<configuration>标签内添加以下内容：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

2.4.5 配置yarn-site.xml

编辑yarn-site.xml文件：

nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

在<configuration>标签内添加以下内容：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

2.5 格式化HDFS

在启动Hadoop之前，需要格式化HDFS：

hdfs namenode -format

2.6 启动Hadoop

启动HDFS和YARN：

start-dfs.sh
start-yarn.sh

2.7 验证Hadoop是否正常运行

可以通过以下命令查看Hadoop的进程是否正常运行：

jps

输出应类似于：

12345 NameNode
12346 DataNode
12347 ResourceManager
12348 NodeManager
12349 SecondaryNameNode

此外，可以通过浏览器访问Hadoop的Web界面：

• NameNode：http://localhost:9870
• ResourceManager：http://localhost:8088

3. 运行示例程序

为了验证Hadoop是否安装成功，可以运行一个简单的MapReduce示例程序。

3.1 创建输入目录

在HDFS中创建一个输入目录：

hdfs dfs -mkdir /input

3.2 上传测试文件

将本地文件上传到HDFS：

hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /input

3.3 运行MapReduce任务

运行Hadoop自带的wordcount示例程序：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output

3.4 查看输出结果

查看输出目录中的结果：

hdfs dfs -cat /output/*

输出应显示每个单词的出现次数。

4. 停止Hadoop

完成测试后，可以停止Hadoop：

stop-yarn.sh
stop-dfs.sh

5. 总结

通过以上步骤，您已经成功在Linux系统上安装并配置了Hadoop。Hadoop的安装过程虽然复杂，但只要按照步骤操作，就能够顺利完成。希望本文能够帮助您快速上手Hadoop，并为后续的大数据处理工作打下坚实的基础。

6. 参考文档

• Hadoop官方文档
• Ubuntu官方文档