azure ADF滚动窗口触发器

9jyewag0  于 2023-08-07  发布在  其他
关注(0)|答案(1)|浏览(123)

我需要帮助澄清一些关于触发器到管道关系的概念。因此,我创建了一个测试管道,通过活动名称可以清楚地看到它的作用x1c 0d1x
1.将现在的时间设置为@utcnow()
1.开始时间-触发窗口开始时间(流水线参数)和
1.结束时间-触发窗口结束时间。(管道参数)
1.等待活动只是为了模拟管道运行时间超过触发窗口。(5分钟= 300秒,我的等待时间是310秒)
下面是翻转窗口触发器定义

我需要的帮助是理解这个:当我转到ADF的“监视”页面时,在“管道运行”中的第1个页面中,我看到此

这告诉我,管道开始于4:10,结束于4:15然后,我去“触发运行”-并选择“滚动窗口”选项卡


  • “触发时间”和窗口开始/结束时间之间的关系是什么?
  • 触发时间是否总是与窗口结束时间相同,或者它取决于流水线计时,并且不保证与窗口结束时间相同?(窗口开始时间)?
  • 触发时间与管道开始/结束时间有何关系?
weylhg0b

weylhg0b1#

  • “触发时间”和窗口开始/结束时间之间的关系是什么?

在此,如果是翻转窗口触发器AFAIK,触发时间将始终是窗口结束时间
根据文件,
如果触发器开始时间是过去的时间,翻转窗口触发器将创建回填运行(过去运行)。这可能是决定将触发时间作为窗口结束时间的原因。
对于演示,这些是我的触发器运行,您可以看到触发器时间与第一次运行的窗口结束时间相同。
x1c 0d1x的数据
但是,当您查看管道运行时,第一个管道运行在触发器时间启动。



第一次触发运行是指定间隔的回填运行。

  • 触发时间是否总是与窗口结束时间相同,或者取决于流水线时序,不保证与窗口结束时间相同?(窗口开始时间)?

是的,在翻转窗口触发的情况下,它始终是窗口结束时间。

  • 触发时间与Pipeline开始/结束时间有何关系?

如上例所述,触发器运行时间是该管道运行的管道开始时间。

相关问题