我搞不明白为什么shufflemapstage maxpartitionid是 stage.numPartitions - 1
结果是 s.rdd.partitions.length - 1
. 当我潜入 stage.numPartitions
,我发现了 stage.numPartitions
相当于 rdd.partitions.length
. 为什么不使用shufflemapstage rdd.partitions.length
而不是 stage.numPartitions
.
相关代码如下所示。
private[spark] class DAGScheduler(){
//.........
stage match {
case s: ShuffleMapStage =>
outputCommitCoordinator.stageStart(stage = s.id, maxPartitionId = s.numPartitions - 1)
case s: ResultStage =>
outputCommitCoordinator.stageStart(
stage = s.id, maxPartitionId = s.rdd.partitions.length - 1)
}
//.........
}
暂无答案!
目前还没有任何答案,快来回答吧!