在dstream spark 1.6.0中使用一个分区获取rdd

nnt7mjpx  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(303)

我使用的是dstream和spark版本是1.6.0。我申请了 foreachRDD 在dstream数据和我检查rdd内部分区大小时 foreachRDD 即使在apply之后,它也只显示一个分区 map/filter/flatmap 转换它只使用一个任务,因为有一个分区。持久化rdd后,spark ui只显示1个缓存分区。
我的疑问是,为什么我的rdd即使在大尺寸rdd上也没有被划分成多个分区。我是否需要使用重新分区,或者是否有配置。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题