spark命令的ui中显示的更多阶段和作业

hivapdat  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(290)
spark
 .read
 .option("header","true")
 .csv("E:\\data\\flight-data\\csv\\2015-summary.csv")
 .groupBy("ORIGIN_COUNTRY_NAME")
 .count
 .show(10000)

我正在我的6核笔记本电脑上运行上面的spark代码。我在sparkshell中提交命令(这是调用shell之后的第一个命令)。理想情况下,按照预期,应该只有一个作业被触发(因为动作秀(10000))。它应该有两个阶段(最多一个阶段;剩下的就在另一个阶段了)。但当我看ui时,它显示了6个作业和11个阶段;许多阶段显示为跳过。我真的对工作和舞台的增加感到困惑。

有人能帮忙吗。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题