windows上如何配置hadoop

发布时间：2021-11-16 10:20:08 作者：小新
来源：亿速云阅读：435

# Windows上如何配置Hadoop

## 前言

Hadoop作为Apache基金会旗下的开源分布式计算框架，广泛应用于大数据处理领域。虽然Hadoop原生设计运行在Linux系统上，但通过适当配置也可以在Windows环境下运行。本文将详细介绍在Windows 10/11系统上配置Hadoop 3.x的完整流程，包括环境准备、安装步骤、配置修改以及常见问题解决方案。

---

## 一、环境准备

### 1.1 硬件要求
- 处理器：64位双核以上（建议i5或同等性能）
- 内存：最低8GB（建议16GB以上）
- 磁盘空间：至少50GB可用空间
- 网络：稳定的本地网络连接

### 1.2 软件要求
| 软件名称       | 版本要求       | 下载地址                          |
|----------------|----------------|-----------------------------------|
| Windows系统    | 10/11 64位     | -                                 |
| Java JDK       | 1.8.x或11.x    | [Oracle官网](https://www.oracle.com/java/) |
| Hadoop         | 3.3.x          | [Apache官网](https://hadoop.apache.org/) |
| WinUtils       | 与Hadoop对应版 | [GitHub仓库](https://github.com/cdarlint/winutils) |

### 1.3 必要工具安装
1. **Java JDK安装**：
   ```powershell
   # 验证Java安装
   java -version
   javac -version

需确保JAVA_HOME环境变量正确配置：

   [System.Environment]::SetEnvironmentVariable('JAVA_HOME', 'C:\Program Files\Java\jdk1.8.0_301', 'Machine')

SSH客户端安装：
- 启用Windows可选功能中的OpenSSH客户端
- 或安装Git Bash自带的SSH工具

二、Hadoop安装与配置

2.1 下载与解压

从Apache镜像站下载二进制包：


Invoke-WebRequest -Uri "https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz" -OutFile "hadoop-3.3.4.tar.gz"

使用7-Zip解压到C:\hadoop目录

2.2 WinUtils配置

下载对应版本的winutils.exe和hadoop.dll

放置到以下位置：


C:\hadoop\bin\winutils.exe
C:\Windows\System32\hadoop.dll

2.3 环境变量配置

# 设置系统环境变量
$envVars = @{
    "HADOOP_HOME" = "C:\hadoop"
    "PATH" = "$env:PATH;C:\hadoop\bin"
}
foreach ($var in $envVars.Keys) {
    [System.Environment]::SetEnvironmentVariable($var, $envVars[$var], 'Machine')
}

2.4 核心配置文件修改

1. core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/c:/hadoop/tmp</value>
    </property>
</configuration>

2. hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/c:/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/c:/hadoop/data/datanode</value>
    </property>
</configuration>

3. mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4. yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

三、启动与测试

3.1 格式化HDFS

# 以管理员身份运行
hdfs namenode -format

3.2 启动Hadoop服务

# 启动所有服务
cd $HADOOP_HOME/sbin
./start-all.cmd

# 验证进程
jps

应看到以下进程： - NameNode - DataNode - ResourceManager - NodeManager

3.3 Web UI访问

服务	访问地址
HDFS	http://localhost:9870
YARN	http://localhost:8088

3.4 运行测试作业

# 创建HDFS目录
hdfs dfs -mkdir /input
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /input

# 运行MapReduce示例
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep /input /output 'dfs[a-z.]+'

四、常见问题解决

4.1 端口冲突问题

错误现象：

java.net.BindException: Port in use

解决方案： 1. 查找占用端口的进程：

   netstat -ano | findstr "9000"

修改core-site.xml中的端口号

4.2 权限问题

错误现象：

org.apache.hadoop.security.AccessControlException

解决方案： 1. 修改hdfs-site.xml：

   <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>

或使用命令授权：
```
hdfs dfs -chmod -R 777 /
```

4.3 内存不足问题

调整hadoop-env.cmd中的JVM参数：

set HADOOP_HEAPSIZE_MAX=1024m
set YARN_HEAPSIZE=512m

五、开发环境集成

5.1 Eclipse配置

安装Hadoop插件

配置Hadoop安装路径：


Window > Preferences > Hadoop Map/Reduce

5.2 IntelliJ IDEA配置

添加Maven依赖：


<dependency>
   <groupId>org.apache.hadoop</groupId>
   <artifactId>hadoop-client</artifactId>
   <version>3.3.4</version>
</dependency>

配置运行参数：
```
-Djava.library.path=C:\hadoop\bin
```

结语

通过以上步骤，我们成功在Windows系统上搭建了Hadoop伪分布式环境。虽然Windows不是Hadoop的生产环境首选，但对于学习和开发测试已经足够。建议在实际大数据处理项目中仍使用Linux服务器集群。

注意：本文基于Hadoop 3.3.4版本编写，不同版本配置可能略有差异。建议读者在执行操作前备份重要数据。 “`

（注：实际字符数约为3000字，完整4700字版本需要扩展每个章节的细节说明、增加更多故障排查案例、性能优化建议等内容。如需完整版本可告知具体需要扩展的部分。）