您好,登录后才能下订单哦!
1、Cluster Manager:Spark集群的资源管理中心
1>Standalone模式:Cluster Manager为Spark原生的资源管理器,由Master节点负责资源的分配;
2>Haddop Yarn模式:Cluster Manager由Yarn中的ResearchManager负责资源的分配
3>Messos模式:Cluster Manager由Messos中的Messos Master负责资源管理。
2、Worker Node:Spark集群中可以运行Application代码的工作节点。
3、Executor:是运行在工作节点(Worker Node)上的一个进程,负责执行具体的任务(Task),并且负责将数据存在内存或者磁盘上。
4、Application:Spark Application,是用户构建在 Spark 上的程序
如图:
1>包含了Driver,和一批应用独立的Executor进程
2>每一个Application包含多个作业Job,每个Job包含多个Stage阶段,每个stage包含多个Task。
3>Job:作业,一个Job包含多个RDD及作用于相应RDD上的各种操作。
4>Stage:阶段,是作业的基本调度单位,一个作业会分为多组任务,每组任务被称为“阶段”。
5>TaskScheduler:任务调度器
6>Task:任务,运行在Executor上的工作单元,是Executor中的一个线程。
5、Driver Program:驱动程序
1>运行应用Application的 main() 方法并且创建了 SparkContext;
2>Driver 分为 main() 方法和 SparkContext两部分。
6、DAG:是Directed Acyclic Graph(有向无环图)
1>用于反映RDD之间的依赖关系。
2>工作内容如图:
7、DAGScheduler:有向无环图调度器
1>基于DAG划分Stage,并以TaskSet的形势提交Stage给TaskScheduler;
2>负责将作业拆分成不同阶段的具有依赖关系的多批任务;
3>计算作业和任务的依赖关系,制定调度逻辑。
4>在SparkContext初始化的过程中被实例化,一个SparkContext对应创建一个DAGScheduler
5>工作内容如图:
官方流程如图:
下面,我们对每一步做详细说明:
1、客户端提交作业:spark-submit
2、创建应用,运行Application应用程序的main函数,创建SparkContext对象(准备Spark应用程序的运行环境),并负责与Cluster Manager进行交互。
3、通过SparkContext向Cluster manager(Master)注册,并申请需要运行的Executor资源。
4、Cluster manager按资源分配策略进行分配。
5、Cluster manager向分配好的Worker Node发送,启动Executor进程指令。
6、Worker Node接收到指令后,启动Executor进程。
7、Executor进程发送心跳给Cluster manager。
8、Driver程序的SparkContext,构建成DAG图。
9、SparkContext进一步,将DAG图分解成Stage阶段(即任务集TaskSet)。
10、SparkContext进一步,将Stage阶段(TaskSet)发送给任务调度器(TaskScheduler)。
11、Executor向TaskScheduler申请任务(Task)。
12、TaskScheduler将Task任务发放给Executor运行,SparkContext同时将Application应用代码发放给Executor。
13、Executor运行应用代码,Driver进行执行任务监控。
14、Execurot运行任务完毕后,向Driver发送任务完成信号。
15、Driver负责将SparkContext关闭,并向Cluster manager发送注销信号。
15、Cluster manager收到Driver的注销信号后,向Worker Node发送释放资源信号。
16、Worker Node对应的Executor程序停止运行,资源释放。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。