我的工作是重新划分Parquet格式的大型数据集,使用的文件系统是 s3a (s3)。浏览spark用户界面时,我偶然发现一个作业有未完成的任务,但标记为成功的作业。不同类别的工作:i)活动,ii)完成,iii)失败。我无法推断这项失败工作的原因,也无法Assert这是否真的是一项失败的工作,因为有另一类失败的工作。如何解决这种模糊性?
s3a
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!