Debian Hadoop 怎样进行测试

在 Debian 上测试 Hadoop 的步骤如下：

1. 安装 Java 环境

首先，确保你的系统上安装了 Java 8 或更高版本。可以使用以下命令安装 OpenJDK 8：

sudo apt update
sudo apt install openjdk-8-jdk

验证 Java 安装：

java -version

2. 下载并解压 Hadoop

从 Apache Hadoop 官网下载最新版本的 Hadoop，然后解压到你指定的目录，例如 /usr/local/hadoop。

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop

3. 配置环境变量

编辑 ~/.bashrc 文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使更改生效：

source ~/.bashrc

4. 配置 Hadoop 配置文件

在 Hadoop 目录下，编辑以下配置文件：

• core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

• hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/dfs/data</value>
    </property>
</configuration>

• mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5. 格式化 HDFS

在 NameNode 上运行以下命令格式化 HDFS：

hdfs namenode -format

6. 启动 Hadoop 服务

在 NameNode 上启动 Hadoop 的 NameNode 和 DataNode：

start-dfs.sh

在 ResourceManager 上启动 YARN：

start-yarn.sh

7. 测试 Hadoop 本地模式运行

切换到 hadoop 用户：

su - hadoop

创建输入数据存放目录和数据输入文件：

mkdir ~/input
vi ~/input/data.txt

输入测试数据并保存退出，例如：

Hello World
Hello Hadoop
Hello Huasan

运行 WordCount 官方案例，统计 data.txt 文件中单词的出现频度：

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ~/input/data.txt ~/output

查看运行结果：

ll ~/output
cat ~/output/part-r-00000

如果输出结果正确，说明 Hadoop 本地模式运行正常。

以上步骤展示了如何在 Debian 上安装和测试 Hadoop。请根据你的具体需求和版本调整命令和配置文件。