Hadoop 在 Ubuntu 上如何配置

在Ubuntu上配置Hadoop是一个相对复杂的过程，涉及多个步骤。以下是一个详细的指南，帮助你在Ubuntu系统上安装和配置Hadoop。

环境准备

1. 操作系统：建议使用Ubuntu 18.04或以上版本。
2. Java：Hadoop依赖Java运行环境，需要安装Java。可以使用以下命令检查Java是否已安装：

java -version

如果没有安装，请执行以下命令安装：

sudo apt update
sudo apt install openjdk-11-jdk

3. SSH：确保SSH服务正常工作，使用以下命令检查SSH服务状态：

sudo systemctl status ssh

4. Hadoop：从Apache Hadoop的官方网站下载最新版本的Hadoop安装包。可以通过以下命令下载：

wget https://hadoop.apache.org/release/hadoop-3.3.6.tar.gz

将下载的安装包解压到指定目录：

tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/

配置Hadoop环境变量

在~/.bashrc文件中添加Hadoop环境变量：

nano ~/.bashrc

在文件末尾添加如下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

保存并退出后，运行以下命令使更改生效：

source ~/.bashrc

Hadoop配置文件

在$HADOOP_HOME/etc/hadoop目录下，存在多个配置文件。主要配置如下：

1. core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3. mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4. yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

启动Hadoop

1. 格式化HDFS：

hdfs namenode -format

2. 启动Hadoop集群：

./sbin/start-dfs.sh
./sbin/start-yarn.sh

验证安装

1. 访问HDFS Web界面：打开浏览器，输入 http://localhost:50070 查看HDFS状态。
2. 访问YARN Web界面：输入 http://localhost:8088 查看YARN资源管理器。

以上步骤可以帮助你在Ubuntu上配置Hadoop环境。请根据具体需求和环境进行调整。