CentOS 上 HDFS 与 MapReduce 的协同工作机制
一 架构与角色分工
- 在 CentOS 环境中，HDFS 负责分布式存储，MapReduce 负责分布式计算，二者通过 YARN 完成资源管理与调度协作。核心组件与职责如下：
- HDFS：由 NameNode 管理命名空间与元数据，DataNode 存储数据块；为作业提供输入与接收输出。
- YARN：由 ResourceManager 全局调度资源，NodeManager 管理单节点资源与容器，ApplicationMaster（AM） 为单个作业（MapReduce 作业即 MRAppMaster）协商资源并协调任务执行。
- MapReduce：在 YARN 分配的 Container 中运行 Map 与 Reduce 任务，完成计算并将结果写回 HDFS。
二 作业生命周期与数据流转
- 作业提交与资源申请
- 用户通过客户端提交作业 JAR、配置与输入路径；ResourceManager 为该作业创建 ApplicationMaster（MRAppMaster）。
- 输入切分与本地化调度
- 输入数据按 InputSplit 划分，通常使分片大小接近 HDFS 块大小（如 64MB/128MB） 以获得更佳的数据本地化；AM 向 NodeManager 申请 Container 并在对应节点启动 Map Task。
- Map 阶段执行
- Map Task 直接从本地的 HDFS DataNode 读取分片数据，执行 map()，中间结果先写入本地磁盘（非 HDFS）。
- Shuffle 与 Sort
- Map 端对中间结果进行分区、排序、（可选）合并；Reduce Task 通过 HTTP 拉取（copy）各 Map 节点对应分区的数据，进行归并排序，形成有序的 key 分组。
- Reduce 阶段与结果落盘
- Reduce Task 调用 reduce() 聚合计算，最终结果写入 HDFS 指定输出目录。
- 作业收尾
- AM 向 ResourceManager 汇报完成，回收容器资源；客户端获取作业状态与统计信息。
三 关键协同点与性能优化
- 数据本地化优先
- 调度策略尽量将 Map Task 放到存有对应 HDFS 块 的节点，减少跨节点网络传输，提升吞吐。
- 中间结果落本地磁盘
- Map 输出 写入本地磁盘而非 HDFS，避免占用宝贵的 HDFS 带宽与存储；仅最终结果写回 HDFS。
- 副本与容错
- HDFS 副本机制 提供数据可靠性；NodeManager 与 ApplicationMaster 监控任务健康，失败任务会被重新调度到其他节点重跑。
- 合理分片与容器资源
- InputSplit ≈ HDFS 块大小 有利于本地化与负载均衡；为 Map/Reduce Container 配置合适的内存与 vcore，避免 OOM 与资源争用。
四 在 CentOS 上的部署与验证要点
- 基础环境
- 使用 CentOS 7.x，安装 Java 8+，配置 SSH 免密登录 与 /etc/hosts 主机解析，创建统一的 hadoop 用户进行部署。
- Hadoop 组件配置
- 配置 HDFS（如 NameNode/DataNode 目录、副本数）与 YARN（如 ResourceManager/NodeManager 资源），确保 HDFS 与 YARN 正常启动并能互通。
- 快速验证
- 在 HDFS 上准备输入数据（如文本文件），通过示例作业（如 WordCount）提交到 YARN 执行，检查作业日志、输出目录与 DataNode 数据块分布，确认本地化与容错行为。