我使用的是dstream和spark版本是1.6.0。我申请了 foreachRDD
在dstream数据和我检查rdd内部分区大小时 foreachRDD
即使在apply之后,它也只显示一个分区 map/filter/flatmap
转换它只使用一个任务,因为有一个分区。持久化rdd后,spark ui只显示1个缓存分区。
我的疑问是,为什么我的rdd即使在大尺寸rdd上也没有被划分成多个分区。我是否需要使用重新分区,或者是否有配置。
我使用的是dstream和spark版本是1.6.0。我申请了 foreachRDD
在dstream数据和我检查rdd内部分区大小时 foreachRDD
即使在apply之后,它也只显示一个分区 map/filter/flatmap
转换它只使用一个任务,因为有一个分区。持久化rdd后,spark ui只显示1个缓存分区。
我的疑问是,为什么我的rdd即使在大尺寸rdd上也没有被划分成多个分区。我是否需要使用重新分区,或者是否有配置。
暂无答案!
目前还没有任何答案,快来回答吧!