怎么配置Hadoop伪分布模式并运行Wordcount

# 怎么配置Hadoop伪分布模式并运行Wordcount

## 一、环境准备

### 1.1 系统要求
- Linux操作系统（推荐Ubuntu 18.04+/CentOS 7+）
- Java JDK 1.8+
- Hadoop 3.x版本

### 1.2 软件下载
```bash
# 下载JDK
wget https://download.oracle.com/java/18/latest/jdk-18_linux-x64_bin.tar.gz

# 下载Hadoop
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

二、基础环境配置

2.1 安装Java

tar -zxvf jdk-18_linux-x64_bin.tar.gz -C /usr/local/
echo 'export JAVA_HOME=/usr/local/jdk-18
export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

2.2 创建Hadoop用户

sudo useradd -m hadoop
sudo passwd hadoop
sudo usermod -aG sudo hadoop

三、Hadoop伪分布式配置

3.1 解压安装

su - hadoop
tar -zxvf hadoop-3.3.6.tar.gz -C /home/hadoop/
mv /home/hadoop/hadoop-3.3.6 /home/hadoop/hadoop

3.2 配置环境变量

echo 'export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

3.3 修改配置文件

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

四、启动Hadoop集群

4.1 格式化NameNode

hdfs namenode -format

4.2 启动服务

start-dfs.sh
start-yarn.sh

4.3 验证服务

jps
# 应显示以下进程：
# NameNode
# DataNode
# ResourceManager
# NodeManager
# SecondaryNameNode

五、运行WordCount示例

5.1 创建测试文件

echo "Hello World Hello Hadoop" > input.txt
echo "Hadoop MapReduce WordCount" >> input.txt

5.2 HDFS操作

hdfs dfs -mkdir -p /user/hadoop/input
hdfs dfs -put input.txt /user/hadoop/input

5.3 执行WordCount

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar \
wordcount /user/hadoop/input /user/hadoop/output

5.4 查看结果

hdfs dfs -cat /user/hadoop/output/part-r-00000
# 预期输出：
# Hadoop    2
# Hello     2
# MapReduce 1
# WordCount 1
# World     1

六、常见问题解决

6.1 SSH免密登录问题

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

6.2 端口冲突

检查9000/8088等端口是否被占用：

netstat -tulnp | grep 9000

6.3 权限问题

sudo chown -R hadoop:hadoop /home/hadoop/

七、总结

通过本文的步骤，我们完成了： 1. Hadoop伪分布式环境搭建 2. 核心配置文件修改 3. HDFS文件系统操作 4. MapReduce程序运行

伪分布式模式适合学习开发，如需生产环境部署需要配置完全分布式集群。WordCount作为经典案例，可以帮助理解MapReduce编程模型。

注意：所有操作建议在干净环境中进行，不同Hadoop版本配置可能略有差异。 “`

该文档包含： - 详细的环境准备步骤 - 完整的配置文件内容 - 分步骤的操作命令 - 常见问题解决方案 - 执行结果验证方法 - 必要的注意事项说明

总字数约1100字，采用标准的Markdown格式，包含代码块、列表、标题层级等元素。