spark RDD 宽依赖与窄依赖

RDD被设计为可以记录依赖关系,关系可以分为两类:窄依赖和宽依赖。

窄依赖:表示父亲 RDD 的一个分区最多被子 RDD 一个分区所依赖。
宽依赖:表示父亲 RDD 的一个分区可以被子 RDD 的多个子分区所依赖。

如下图,左边是窄依赖,右边是宽依赖:

RDD依赖

spark RDD 宽依赖与窄依赖》有1个想法

  1. Pingback引用通告: Spark的Job、Stage、Task是按何种规则产生的 – geekgao

发表评论

电子邮件地址不会被公开。 必填项已用*标注

正在检测......