在spark中重试失败的任务(手动)

5ktev3wc  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(250)

我将spark 3.0.1与scala结合使用,并尝试评估故障恢复的不同可能性,我将区分两种可能性:
自动恢复:通过设置“spark.task.maxfailures”的值。这通常适用于暂时性/偶发性的问题,而且通常可以解决问题。
手动恢复:这就是我想弄明白的。例如,当输入文件的格式无效时,我们需要这样的特性。我们想修复文件格式,恢复/重试失败的任务,而不必重新运行整个过程。这可能吗?
谢谢,

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题