spark RDD 宽依赖与窄依赖

真诚的希望您能留言与我交流,这会对我有非常大的帮助!

RDD被设计为可以记录依赖关系,关系可以分为两类:窄依赖和宽依赖。

窄依赖:表示父亲 RDD 的一个分区最多被子 RDD 一个分区所依赖。
宽依赖:表示父亲 RDD 的一个分区可以被子 RDD 的多个子分区所依赖。

如下图,左边是窄依赖,右边是宽依赖:

spark RDD 宽依赖与窄依赖
RDD依赖

原创文章,作者:geekgao,如若转载,请注明出处:https://www.geekgao.cn/archives/108

发表评论

登录后才能评论

评论列表(1条)

GitHub
分享本页
返回顶部