MapReduce提交到Yarn上大体执行流程

发布时间:2020-07-16 04:41:36 作者:51zhangyanfeng
来源:网络 阅读:689

MapReduce提交到Yarn上大体执行流程

  1. 启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjar

  2. ResouceManager 会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster

  3. 由主管进程(MRAppMasster)根据启动规则启动mapTask任务(yarnChild进程).如果所有mapTask任务运行结束.MRAppMasster进程会启动Reduce Task任务(yarnChild进程)


推荐阅读:
  1. hadoop生态的大体介绍
  2. Yarn流程、Yarn与MapReduce 1相比

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

it ce 大体

上一篇:C语言之进制转换

下一篇:安装redis

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》