因此,为了优化集群cpu的使用,我希望按照 MyPartitioner.getPartition(key)
. 我知道它们是并行处理的,它们的处理顺序无法完全控制,但至少我可以控制驱动程序向执行者提交任务的顺序吗?
比如:
task 0 - process partition 0
task 1 - process partition 1
...
task n - process partition n
因此,为了优化集群cpu的使用,我希望按照 MyPartitioner.getPartition(key)
. 我知道它们是并行处理的,它们的处理顺序无法完全控制,但至少我可以控制驱动程序向执行者提交任务的顺序吗?
比如:
task 0 - process partition 0
task 1 - process partition 1
...
task n - process partition n
暂无答案!
目前还没有任何答案,快来回答吧!