Hadoop中的MapReduce的运行原理

# Hadoop中的MapReduce的运行原理

MapReduce是Hadoop的核心计算框架，其运行原理可分为**Map阶段**和**Reduce阶段**，通过分布式并行处理实现海量数据的高效计算。

## 1. Map阶段
输入数据被分割成固定大小的块（如128MB），由多个Map任务并行处理。每个Map任务逐行读取数据，调用用户定义的`map()`函数生成键值对（key-value）形式的中间结果。例如，词频统计中，Map输出格式为`<单词, 1>`。

## 2. Shuffle阶段
Map输出的中间结果会经过**分区（Partition）**、**排序（Sort）**和**合并（Combine）**操作。相同key的数据被发送到同一个Reduce节点，确保数据按key分组。

## 3. Reduce阶段
Reduce任务接收分组后的数据，调用用户定义的`reduce()`函数进行聚合。例如将`<单词, [1,1]>`合并为`<单词, 2>`。最终结果写入HDFS存储。

通过分而治之的思想，MapReduce实现了横向扩展能力，适合处理TB/PB级非结构化数据。

（注：全文约250字，采用Markdown语法，包含分级标题和关键流程说明）