ResourceManager主要的组件有哪些

这篇文章主要介绍“ResourceManager主要的组件有哪些”，在日常操作中，相信很多人在ResourceManager主要的组件有哪些问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”ResourceManager主要的组件有哪些”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

在hadoop0.23版本中，MapReduce相比原先有了一个完全的颠覆，现在我们有了称作MapReduce 2.0(MRv2)的YARN。

MRv2最核心的概念是，将JobTrack中两个最重要的功能resource management和job scheduling/monitoring分隔开，形成不同的守护进程。由此概念产生了一个全局的ResourceManager(RM)和per-application（每个application一个的） ApplicationMaster(AM)。一个application是Map-Reducejobs传统场景中的一个job，或者jobs的一个DAG(Directed Acyclic Graph有向无环图)。

ResourceManager、per-node slave、NodeManager(NM)形成了data-computation framework。在系统所有application的资源分配上，ResourceManager拥有最高权限。

Per-application ApplicationMaster实际上是一个framework specific library，同时它的任务是调度从ResourceManager分配下来的资源，并且同NodeManager(s)一起工作来执行并监控tasks。

ResourceManager有两个主要的组件：Scheduler和ApplicationsManager。

The Scheduler is responsible for allocating resources to various running applications subject to familiar constraints of capacities, queues etc[J1] . Scheduler只用于调度的场景，它不会监控或者追踪application的状态。同样的，它不能够在由于application或硬件失败导致task失败后重启task。Scheduler基于applications对于resource的需求来履行他的调度功能；它基于一个resource Container的抽象概念，container由各种资源组成，如内存、cpu、磁盘、网络等。在开始的版本中，支持内存。

Scheduler有一个可插拔的plug-in，它的作用是为各种queues、applications等等分割集群的resources。当前的Map-Reduce scheduler比如CapacityScheduler和FairScheduler就是这样的例子。

The CapacityScheduler supports hierarchical queues to allow for more predictable sharing of cluster resources.

ApplicationsManager负责接收job的提交，分配初始的container来执行特定ApplicationMaster的application，provides the service for restarting the ApplicationMaster container on failure.

NodeManager是一个per-machine framework agent，它的作用是监控containers的resource(cpu, 内存，磁盘，网络)，并如实report给ResourceManager/Scheduler。

Per-application ApplicationMaster 的责任是把从Scheduler得到的资源组合成适当的resource container，追踪它们的状态并监控其过程。

MRv2的API与上一个版本(Hadoop-0.20.205)是向下兼容的。这意味着所有原有的Map-Reduce jobs只需要重新编译一下应该就可以不加修改运行在MRv2上。

到此，关于“ResourceManager主要的组件有哪些”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！