上图是一个job的提交流程图,job提交的具体步骤如下 一旦有action,就会触发DagScheduler.runJob来提交任务,主要是先生成逻辑执行图DAG,然后调用 finalStage =
上图是spark框架概要图,spark一些重要概念先简要介绍一下: cluster manager:资源管理集群,比如standalone、yarn; application:用户编写的应用程序;