我将spark 3.0.1与scala结合使用,并尝试评估故障恢复的不同可能性,我将区分两种可能性:
自动恢复:通过设置“spark.task.maxfailures”的值。这通常适用于暂时性/偶发性的问题,而且通常可以解决问题。
手动恢复:这就是我想弄明白的。例如,当输入文件的格式无效时,我们需要这样的特性。我们想修复文件格式,恢复/重试失败的任务,而不必重新运行整个过程。这可能吗?
谢谢,
我将spark 3.0.1与scala结合使用,并尝试评估故障恢复的不同可能性,我将区分两种可能性:
自动恢复:通过设置“spark.task.maxfailures”的值。这通常适用于暂时性/偶发性的问题,而且通常可以解决问题。
手动恢复:这就是我想弄明白的。例如,当输入文件的格式无效时,我们需要这样的特性。我们想修复文件格式,恢复/重试失败的任务,而不必重新运行整个过程。这可能吗?
谢谢,
暂无答案!
目前还没有任何答案,快来回答吧!