关于maxpartitionid,shufflemapstage和resultstage之间有区别吗?

u0sqgete  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(295)

我搞不明白为什么shufflemapstage maxpartitionid是 stage.numPartitions - 1 结果是 s.rdd.partitions.length - 1 . 当我潜入 stage.numPartitions ,我发现了 stage.numPartitions 相当于 rdd.partitions.length . 为什么不使用shufflemapstage rdd.partitions.length 而不是 stage.numPartitions .
相关代码如下所示。

  1. private[spark] class DAGScheduler(){
  2. //.........
  3. stage match {
  4. case s: ShuffleMapStage =>
  5. outputCommitCoordinator.stageStart(stage = s.id, maxPartitionId = s.numPartitions - 1)
  6. case s: ResultStage =>
  7. outputCommitCoordinator.stageStart(
  8. stage = s.id, maxPartitionId = s.rdd.partitions.length - 1)
  9. }
  10. //.........
  11. }

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题