控制在spark中处理分区的顺序

8hhllhi2  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(575)

因此,为了优化集群cpu的使用,我希望按照 MyPartitioner.getPartition(key) . 我知道它们是并行处理的,它们的处理顺序无法完全控制,但至少我可以控制驱动程序向执行者提交任务的顺序吗?
比如:

task 0 - process partition 0
 task 1 - process partition 1
 ...
 task n - process partition n

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题