Apache Spark Azure Databricks多任务作业和工作流,模拟完成状态

kpbwa7wx  于 2023-10-23  发布在  Apache
关注(0)|答案(1)|浏览(130)

目前,我们正在研究如何有效地将数据块的最新功能的任务编排-多任务作业。
默认行为是,如果前一个任务由于某种原因失败,则不会执行下游任务。
所以问题是:目前是否可以有一个onComplete状态(类似于Azure数据工厂或SQL Server集成服务-SSIS中的状态),无论任务成功或失败,我们都可以继续工作流并执行下一个任务。

ncgqoxb0

ncgqoxb01#

现在这是不可能的,但你可以用try/catch包围你的代码,所以如果抛出错误,catch块不会进一步传播异常,任务不会被标记为失败。

相关问题