Spark是一个基于内存的分布式计算框架，运行在其上的应用程序，按照Action被划分为一个个Job，而Job提交运行的总流程，大致分为两个阶段：
1、Stage划分与提交
（1）Job按照RDD之间的依赖关系是否为宽依赖，由DAGScheduler划分为一个个Stage，并将每个Stage提交给TaskScheduler；
（2）Stage随后被提交，并由TaskScheduler将每个stage转化为一个TaskSet；
2、Task调度与执行：由TaskScheduler负责将TaskSet中的Task调度到Worker节点的Executor上执行。
而对于第一阶段Stage划分与提交，又主要分为三个阶段：
1、Job的调度模型与运行反馈；
2、Stage划分；
3、Stage提交：对应TaskSet的生成。
下面，就以图及部分源码，概略介绍下以上三个阶段。
一、Job的调度模型与运行反馈
1、首先由DAGScheduler负责将Job提交到事件队列eventProcessLoop中，等待调度执行
该事件队列为DAGSchedulerEventProcessLoop类型，内部封装了一个BlockingQueue阻塞队列，并由一个后台线程eventThread不断的调用onReceive()方法处理其中的事件；
2、创建一个JobWaiter对象并返回给客户端
利用这个JobWaiter对象的awaitResult()方法对Job进行监控与运行反馈，并获得JobSucceeded和JobFailed两种Job运行结果；
3、DAGSchedulerEventProcessLoop的onReceive()方法处理事件
onReceive()方法继续调用doOnReceive(event)方法，然后根据传入的事件类型DAGSchedulerEvent决定调用哪个方法处理事件，这里传入的是JobSubmitted事件，调用的是DAGScheduler的handleJobSubmitted()方法，继而进入下一个阶段。
整个处理流程如下图所示：
二、Stage划分
在第一阶段将JobSubmitted事件提交到事件队列后，DAGScheduler的handleJobSubmitted()方法就开始了Stage的划分。
首先，根据finalRDD获取其Parent Stages，即ShuffleMapStage列表；
然后，利用finalRDD生成最后一个Stage，即ResultStage；
最后，生成ActiveJob对象，并维护各种stage、job等数据结构。
整个处理流程如下图所示：
三、Stage提交：对应TaskSet的生成
首先，提交finalStage；
然后，提交其parent Stage，如果对应parent Stage还存在尚未提交的parent Stage，提交之；
最好，对于没有parent Stage的Stage，根据stage中rdd的分区，生成tasks，即TaskSet，创建TaskSetManager，并由SchedulerBackend申请资源。
整个处理流程如下图所示：
未完待续，明天继续~
博客原地址：http://blog.csdn.net/lipeng_bigdata/article/details/50663569