在已完成的spark作业中,“失败”是什么意思?

sqserrrh  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(248)

我的工作是重新划分Parquet格式的大型数据集,使用的文件系统是 s3a (s3)。
浏览spark用户界面时,我偶然发现一个作业有未完成的任务,但标记为成功的作业。
不同类别的工作:i)活动,ii)完成,iii)失败。我无法推断这项失败工作的原因,也无法Assert这是否真的是一项失败的工作,因为有另一类失败的工作。

如何解决这种模糊性?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题