1. geekgao首页
  2. 技术

spark RDD 宽依赖与窄依赖

geekgao • • 技术 • 阅读 3779

RDD被设计为可以记录依赖关系，关系可以分为两类：窄依赖和宽依赖。

窄依赖：表示父亲 RDD 的一个分区最多被子 RDD 一个分区所依赖。
宽依赖：表示父亲 RDD 的一个分区可以被子 RDD 的多个子分区所依赖。

如下图，左边是窄依赖，右边是宽依赖：

spark RDD 宽依赖与窄依赖
RDD依赖

原创文章，作者：geekgao，如若转载，请注明出处：https://www.geekgao.cn/archives/108

赞 (1)
geekgaogeekgao博主
0 1 打赏 微信 微信 支付宝 支付宝
上一篇 2017年11月21日 下午6:30
下一篇 2018年1月24日 下午6:25

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

评论列表（1条）

GitHub
分享本页
返回顶部

Warning: error_log(/usr/local/lighthouse/softwares/wordpress/wp-content/plugins/spider-analyser/#log/log-1908.txt): failed to open stream: No such file or directory in /usr/local/lighthouse/softwares/wordpress/wp-content/plugins/spider-analyser/spider.class.php on line 2900