水印在spark中是如何工作的?

yebdmbv4  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(430)

我对水印的理解有点困惑,在看官方文件。
这是图片

  1. https://spark.apache.org/docs/latest/img/structured-streaming-watermark-update-mode.png

医生说:

  1. the engine will maintain state and allow late data to update the state until (max event time seen by the engine - late threshold > T)

所以如果我们看到图像中的水印,在12:15计算出来的是 12:04 . 为什么12:04跟 max event time seen by the engine - late threshold > T ? 哪个窗口更大?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题