windows上如何编译和安装hadoop2

发布时间：2021-11-16 10:19:39 作者：小新
来源：亿速云阅读：164

# Windows上如何编译和安装Hadoop 2

## 前言

Apache Hadoop是一个开源的分布式计算框架，广泛应用于大数据处理领域。虽然Hadoop原生设计运行在Linux系统上，但通过适当配置也可以在Windows平台上运行。本文将详细介绍在Windows系统上编译和安装Hadoop 2的全过程。

---

## 环境准备

### 硬件要求
- 至少8GB内存（推荐16GB）
- 50GB可用磁盘空间
- 四核以上处理器

### 软件要求
1. **操作系统**：Windows 10/11 64位
2. **Java开发工具包**：JDK 8（必须使用Oracle JDK）
3. **构建工具**：
   - Maven 3.6.3+
   - Protocol Buffers 2.5.0
4. **其他依赖**：
   - Windows SDK 7.1
   - Visual Studio 2010（仅用于编译原生库）
   - Cygwin或WSL（推荐WSL 2）

> 注意：Hadoop 2.7+需要`winutils.exe`和`hadoop.dll`等Windows专用组件

---

## 第一步：安装必要软件

### 1. 安装JDK
```powershell
# 验证Java安装
java -version
# 应显示类似：java version "1.8.0_301"

配置环境变量：

JAVA_HOME=C:\Program Files\Java\jdk1.8.0_301
PATH=%JAVA_HOME%\bin;...

2. 安装Maven

下载二进制包并解压，然后设置：

MAVEN_HOME=C:\apache-maven-3.8.6
PATH=%MAVEN_HOME%\bin;...

验证：

mvn -v

3. 安装Protocol Buffers

下载protoc-2.5.0-win32.zip
解压后将protoc.exe放入系统PATH路径

第二步：获取Hadoop源码

推荐使用官方源码：

git clone https://github.com/apache/hadoop.git
cd hadoop
git checkout release-2.10.1

或直接下载源码包：

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1-src.tar.gz
tar -xzvf hadoop-2.10.1-src.tar.gz

第三步：编译Hadoop源码

1. 准备编译环境

安装Visual Studio 2010和Windows SDK 7.1，确保以下组件可用： - Visual C++ 2010 Compiler - Windows Headers and Libraries

2. 开始编译

mvn package -Pdist,native-win -DskipTests -Dtar

关键参数说明： - -Pdist,native-win：生成Windows原生库 - -DskipTests：跳过测试（加快编译） - -Dtar：生成tar包

3. 解决常见编译错误

Protocol Buffers版本不匹配：

<!-- 在pom.xml中指定正确版本 -->
<protoc.version>2.5.0</protoc.version>

缺少Windows SDK：安装时需选择”Developer Tools”
内存不足：设置MAVEN_OPTS：
```
$env:MAVEN_OPTS="-Xmx4096m"
```

编译完成后，结果位于：

hadoop-dist/target/hadoop-2.10.1.tar.gz

第四步：安装Hadoop

1. 解压二进制包

tar -xzvf hadoop-2.10.1.tar.gz -C C:\hadoop

2. 配置环境变量

HADOOP_HOME=C:\hadoop\hadoop-2.10.1
PATH=%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;...

3. 获取Windows支持文件

从https://github.com/steveloughran/winutils下载： 1. 将winutils.exe放入%HADOOP_HOME%\bin 2. 将hadoop.dll放入C:\Windows\System32

4. 验证安装

hadoop version
# 应显示版本信息

第五步：配置Hadoop

1. 核心配置（core-site.xml）

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/C:/hadoop/tmp</value>
  </property>
</configuration>

2. HDFS配置（hdfs-site.xml）

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/C:/hadoop/namenode</value>
  </property>
</configuration>

3. 配置YARN（yarn-site.xml）

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

第六步：启动Hadoop服务

1. 格式化HDFS

hdfs namenode -format

2. 启动服务

# 启动HDFS
start-dfs.cmd

# 启动YARN
start-yarn.cmd

3. 验证服务

访问NameNode Web UI：http://localhost:50070

检查进程：

jps
# 应显示NameNode、DataNode等进程

常见问题解决

端口冲突：
- 修改hdfs-site.xml中的默认端口
- 检查50070/8088端口是否被占用

权限问题：

icacls C:\hadoop /grant Everyone:(OI)(CI)F

原生库加载失败：
- 确认hadoop.dll在System32目录
- 检查环境变量HADOOP_HOME是否正确

结语

通过以上步骤，我们成功在Windows系统上完成了Hadoop 2的编译和安装。虽然Windows不是Hadoop的原生运行环境，但对于开发测试和学习目的已经足够。建议生产环境仍使用Linux系统以获得最佳性能和稳定性。

完整配置文件示例可参考：Hadoop官方文档 “`

注：实际字符数约1800字，可根据需要增减细节内容。建议在关键步骤添加截图说明以提高可操作性。