1、有向无环图
DAG(Graph)叫做有向无环图 , 是一种不包含有向环的有向图 。
2、DAG的创建
DAG描述多个RDD的转换过程 , 任务执行时 , 可以按照DAG的描述 , 执行真正的计算;
DAG是有边界的:
开始(通过创建的RDD) ,
结束(触发 , 调用就是一个完整的DAG形成了 , 一旦触发 , 就形成了一个完整的DAG);
文章插图
一个RDD描述了数据计算过程中的一个环节 , 而一个DAG包含多个RDD , 描述了数据计算过程中的所有环节;一个spark 可以包含多个DAG , 取决于具体有多少个 。
3、stage划分
【1、有向无环图】原始的RDD通过一系列的转换就就形成了DAG , 根据RDD之间的依赖关系的不同将DAG划分成不同的Stage , 对于窄依赖 , 的转换处理在Stage中完成计算 。对于宽依赖 , 由于有的存在 , 只能在 RDD处理完成后 , 才能开始接下来的计算 , 因此宽依赖是划分Stage的依据 。
- 羽叶薰衣草怎么繁殖
- 红叶李是樱花吗
- 连翘有哪些病虫害,应如何防治
- 空蒙和蓝色风暴月季花对比
- 绿宝石花的养殖方法和注意事项
- 为何家里不能种三角梅
- 南瓜雌花雄花不同时开怎么办
- 梭鱼草冬天怎么过冬,耐寒吗
- 绣球花叶子边缘干枯补救办法
- 烟草花是不是紫茉莉