Ubuntu HDFS与YARN如何协同工作

Ubuntu环境下HDFS与YARN的协同工作机制
HDFS（Hadoop分布式文件系统）与YARN（Yet Another Resource Negotiator）是Hadoop生态中存储与计算的核心组件，二者通过明确的分工与紧密的交互，支撑大规模数据处理任务的高效执行。其协同工作围绕“数据存储-资源调度-任务执行-结果反馈”的流程展开，以下是具体机制：

1. 角色定位：存储与计算的职责分离

HDFS作为分布式存储系统，主要负责数据的可靠存储与管理：

• 通过NameNode（主节点）维护文件系统的命名空间（如文件目录结构、文件与数据块的映射关系）；
• 通过DataNode（工作节点）实际存储数据块（默认128MB/块），并通过副本机制（默认3副本）保证数据高可用；
• 支持数据的高吞吐量读写，为后续计算提供稳定的数据源。

YARN作为集群资源管理与调度框架，主要负责计算资源的分配与任务调度：

• 通过ResourceManager（RM）（全局主节点）接收应用资源请求，统一分配集群资源（CPU、内存等）；
• 通过NodeManager（NM）（每个节点的代理）监控本节点资源使用情况（如CPU、内存占用），并启动/销毁容器（Container）（资源抽象单元，封装了运行任务所需的资源）；
• 通过ApplicationMaster（AM）（每个应用的实例）协调应用的资源申请、任务调度与进度监控。

2. 协同工作流程：从作业提交到结果输出

HDFS与YARN的协同工作以“用户提交数据处理作业”为起点，具体流程如下：

• 作业提交：用户通过Hadoop命令行或编程接口（如Java API）提交作业（如MapReduce、Spark任务）到YARN的ResourceManager。
• 资源调度：ResourceManager接收请求后，首先启动对应的ApplicationMaster（如MapReduce的AM），由其向RM申请作业所需的资源（如“需要2个容器，每个容器分配2核CPU、4GB内存”）。
• 容器启动：ResourceManager根据集群资源状况，将资源分配给NodeManager，NodeManager在本节点上启动容器（Container），并在容器中运行ApplicationMaster。
• 任务分发与执行：ApplicationMaster向ResourceManager申请运行具体任务（如Map任务、Reduce任务）的容器，NodeManager启动容器并执行任务。任务执行过程中，数据从HDFS读取（如Map任务读取HDFS中的输入文件块），处理完成后中间结果或最终结果写回HDFS（如Reduce任务将汇总结果写入HDFS的指定目录）。

3. 关键交互细节：数据与资源的联动

• 数据依赖：YARN的任务执行完全依赖HDFS存储的数据。例如，MapReduce的Map任务需要从HDFS读取输入数据块，Reduce任务需要从HDFS读取Map任务的中间结果；处理完成后，结果需写回HDFS以供后续查询或分析。
• 资源协调：YARN的ResourceManager通过心跳机制（NodeManager定期向RM汇报资源状态）监控集群资源负载，动态调整资源分配（如某节点空闲时，RM将其资源分配给其他任务）；ApplicationMaster则根据任务进度动态申请/释放资源（如Map任务完成后，申请Reduce任务的资源）。
• 故障恢复：HDFS的副本机制保证了数据的高可用（如某DataNode故障，数据可从其他副本节点读取）；YARN的故障检测与恢复机制（如NodeManager故障，RM会将其资源重新分配给其他节点；ApplicationMaster故障，RM会重新启动新的AM）共同保障了任务的可靠性。

4. Ubuntu环境下的配置要点

在Ubuntu上部署HDFS与YARN时，需通过配置文件明确二者的协同关系：

• HDFS配置：编辑hdfs-site.xml设置NameNode目录（dfs.namenode.name.dir）、DataNode目录（dfs.datanode.data.dir）及副本数（dfs.replication）；编辑core-site.xml设置HDFS的默认文件系统地址（fs.defaultFS，如hdfs://namenode:9000）。
• YARN配置：编辑yarn-site.xml设置ResourceManager主机名（yarn.resourcemanager.hostname）、NodeManager的辅助服务（yarn.nodemanager.aux-services，需设置为mapreduce_shuffle以支持MapReduce任务）；编辑mapred-site.xml设置计算框架为YARN（mapreduce.framework.name，值为yarn）。
• 启动顺序：先启动HDFS（start-dfs.sh），初始化NameNode与DataNode；再启动YARN（start-yarn.sh），启动ResourceManager与NodeManager。启动后可通过hdfs dfsadmin -report查看HDFS节点状态，通过yarn node -list查看YARN节点状态。