如何在 Ubuntu 上部署 Hadoop 应用

在Ubuntu上部署Hadoop应用涉及多个步骤，包括环境准备、安装Java、配置Hadoop、启动Hadoop服务等。以下是一个详细的步骤指南：

环境准备

1. 系统要求：

• Ubuntu 16.04或更高版本。
• 至少4GB内存（推荐8GB以上）。
• 硬盘空间：至少20GB（根据数据量而定）。

2. 安装Java：

sudo apt update
sudo apt install openjdk-8-jdk
java -version

下载和安装Hadoop

1. 下载Hadoop：

从Apache Hadoop官网下载最新版本的Hadoop安装包，例如Hadoop 3.3.4。

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
sudo tar -zxvf hadoop-3.3.4.tar.gz -C /opt

2. 配置Hadoop环境变量：

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc

配置Hadoop

1. 配置core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. 配置hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3. 配置mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4. 配置yarn-site.xml：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

启动Hadoop

1. 格式化HDFS：

sudo -u hadoop hdfs namenode -format

2. 启动Hadoop服务：

sudo -u hadoop sbin/start-dfs.sh
sudo -u hadoop sbin/start-yarn.sh

验证Hadoop安装

1. 检查HDFS是否运行：

jps

应看到NameNode、Secondary NameNode、ResourceManager和NodeManager进程。

2. 运行示例程序：

sudo -u hadoop hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output
sudo -u hadoop hadoop dfs -cat /output/_words_count_

通过以上步骤，您已经在Ubuntu上成功安装并配置了Hadoop。现在，您可以开始使用Hadoop进行大数据处理了。