1、有向无环图

1、有向无环图
DAG(Graph)叫做有向无环图 , 是一种不包含有向环的有向图 。
2、DAG的创建
DAG描述多个RDD的转换过程 , 任务执行时 , 可以按照DAG的描述 , 执行真正的计算;
DAG是有边界的:
开始(通过创建的RDD) , 
结束(触发 , 调用就是一个完整的DAG形成了 , 一旦触发 , 就形成了一个完整的DAG);

1、有向无环图

文章插图
一个RDD描述了数据计算过程中的一个环节 , 而一个DAG包含多个RDD , 描述了数据计算过程中的所有环节;一个spark 可以包含多个DAG , 取决于具体有多少个 。
3、stage划分
【1、有向无环图】原始的RDD通过一系列的转换就就形成了DAG , 根据RDD之间的依赖关系的不同将DAG划分成不同的Stage , 对于窄依赖 , 的转换处理在Stage中完成计算 。对于宽依赖 , 由于有的存在 , 只能在 RDD处理完成后 , 才能开始接下来的计算 , 因此宽依赖是划分Stage的依据 。