如何配置Hadoop单机模式并运行Wordcount

发布时间：2021-12-10 09:53:14 作者：iii
来源：亿速云阅读：219

# 如何配置Hadoop单机模式并运行Wordcount

## 一、环境准备

在开始配置Hadoop单机模式前，需确保系统满足以下条件：
- **操作系统**：Linux/Unix（推荐Ubuntu/CentOS）或Windows Subsystem for Linux
- **Java环境**：JDK 8或11（Hadoop 3.x兼容版本）
- **Hadoop版本**：以3.3.6为例（[官网下载](https://hadoop.apache.org/releases.html)）

```bash
# 检查Java版本
java -version

二、Hadoop单机模式配置

1. 解压并设置环境变量

tar -xzvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /usr/local/hadoop

编辑~/.bashrc文件添加环境变量：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2. 验证安装

hadoop version  # 应显示版本信息

三、运行WordCount示例

1. 准备输入数据

创建测试文件并上传至HDFS：

mkdir input
echo "Hello World Hello Hadoop" > input/file1.txt
echo "Hadoop MapReduce Wordcount" > input/file2.txt

# 创建HDFS目录（伪分布式模式需先格式化namenode）
hdfs dfs -mkdir -p /user/$USER/input
hdfs dfs -put input/* /user/$USER/input

2. 执行WordCount程序

# 使用Hadoop自带的示例jar包
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar \
wordcount /user/$USER/input /user/$USER/output

3. 查看结果

hdfs dfs -cat /user/$USER/output/part-r-00000

输出示例：

Hadoop  2
Hello   2
World   1
MapReduce   1
Wordcount   1

四、常见问题解决

Java环境问题
若报错JAVA_HOME is not set，需在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中明确指定：
```
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
```

权限错误
单机模式下可关闭权限检查（仅测试环境）：

<!-- 修改$HADOOP_HOME/etc/hadoop/core-site.xml -->
<property>
 <name>hadoop.security.authorization</name>
 <value>false</value>
</property>

五、总结

通过上述步骤，我们完成了： 1. Hadoop单机模式的环境配置 2. 使用HDFS管理测试数据 3. 运行经典MapReduce程序WordCount

单机模式适合快速验证功能，后续可扩展为伪分布式或完全分布式集群。建议通过jps命令检查Java进程，确保服务正常运行。

注意：生产环境需配置完整集群并启用安全机制。更多配置参考Hadoop官方文档。 “`

文章结构说明： 1. 分步骤指导配置过程 2. 包含可直接执行的命令示例 3. 突出关键配置项和验证方法 4. 提供典型问题解决方案 5. 使用代码块突出关键操作 6. 包含注意事项和扩展建议