YARN Capacity Scheduler怎么实现

发布时间:2022-01-06 15:06:03 作者:iii
来源:亿速云 阅读:154

这篇文章主要讲解了“YARN Capacity Scheduler怎么实现”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“YARN Capacity Scheduler怎么实现”吧!

特点

以队列为单位划分资源,每个队列可设定一定比例的资源最低保证和使用上限,同时,每个用户也可设定一定的资源使用上限以防止资源滥用。而当一个队列的资源有剩余时,可暂时将剩余资源共享给其他队列。总之,Capacity Scheduler主要有以下几个特点:


Capacity Scheduler的功能

  1. Capacity Scheduler有自己的配置文件,即存放在conf目录下的capacity-scheduler.xml

  2. 在Capacity Scheduler的配置文件中,队列queueX的参数Y的配置名称为yarn.scheduler.capacity.queueX.Y

  3. 资源分配相关参数:

  4. 限制应用程序数目的相关参数:

  5. 队列访问权限控制

  6. 当管理员需动态修改队列资源配置时,可修改配置文件conf/capacity-scheduler.xml,然后运行“yarn rmadmin -refreshQueues

  7. 当前Capacity Scheduler不允许管理员动态减少队列数目,且更新的配置参数值应是合法值,否则会导致配置文件加载失败


Capacity Scheduler实现

应用程序初始化
  1. 应用程序被提交到ResourceManager之后,ResourceManager会向Capacity Scheduler发送一个SchedulerEventType.APP_ADDED事件,Capacity Scheduler收到该事件后,将为应用程序创建一个FiCaSchedulerApp对象跟踪和维护该应用程序的运行时信息,同时将应用程序提交到对应的叶子队列中,叶子队列会对应用程序进行一系列合法性检查。只有通过这些合法性检查,应用程序才算提交成功,这些合法性包括以下几个方面:


资源调度

当ResourceManager收到来自NodeManager发送的心跳信息后,将向Capacity Scheduler发送一个SchedulerEventType.NODE_UPDATE事件,Capacity Scheduler收到该事件后,会依次进行以下操作:

  1. 处理心跳信息:NodeManager发送的心跳信息中有两类信息需资源调度器处理,一类是最新启动的Container,另一类是运行完成的Container,具体如下:

  2. 资源分配

            1. Container主要包含5类信息:

感谢各位的阅读,以上就是“YARN Capacity Scheduler怎么实现”的内容了,经过本文的学习后,相信大家对YARN Capacity Scheduler怎么实现这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

推荐阅读:
  1. Hadoop 之 Yarn
  2. Yarn架构

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

yarn capacity scheduler

上一篇:PCB板子中各个层的作用是什么

下一篇:pcb上红胶的作用是什么呢

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》