spark
.read
.option("header","true")
.csv("E:\\data\\flight-data\\csv\\2015-summary.csv")
.groupBy("ORIGIN_COUNTRY_NAME")
.count
.show(10000)
我正在我的6核笔记本电脑上运行上面的spark代码。我在sparkshell中提交命令(这是调用shell之后的第一个命令)。理想情况下,按照预期,应该只有一个作业被触发(因为动作秀(10000))。它应该有两个阶段(最多一个阶段;剩下的就在另一个阶段了)。但当我看ui时,它显示了6个作业和11个阶段;许多阶段显示为跳过。我真的对工作和舞台的增加感到困惑。
有人能帮忙吗。
暂无答案!
目前还没有任何答案,快来回答吧!