pyspark Delta Live Tables群集终止

g6baxovj  于 2023-10-15  发布在  Spark
关注(0)|答案(2)|浏览(122)

我在dlt的文档中读到,“因为Delta Live Tables管理集群自动终止和重用逻辑,所以集群自动终止时间不能被覆盖。”
当任务完成后,有没有一种方法可以从笔记本或配置中终止我的dlt集群?

2wnc66cl

2wnc66cl1#

您需要在生产模式下运行您的管道-然后它将在作业完成时自动终止:
开启生产模式时,pipelines.clusterShutdown.delay默认值为0秒。启用开发模式时,默认值为 *2小时 *。

57hvy0tb

57hvy0tb2#

您可以使用延迟计算关闭配置在管道执行后终止dlt集群。

{
"configuration": {
  "pipelines.clusterShutdown.delay": "60s"
}
}

下面是没有上述配置,集群仍然运行后管道运行也。

在dlt设置中设置配置。

然后启动管道,点击WAITING_FOR_RESOURCES,选择Json

您将获得集群详细信息,使用集群ID查看它的状态。

输出量:
集群在延迟2分钟后终止,因为我在配置中给出了这一点。

相关问题