当我将“startingoffset”设置为“latest”时，我的spark结构化流媒体工作正常。当我简单地将它改为“最早”并指定了一个新的“check point directory”时，这个作业就不起作用了。各州10分钟后不会超时。
在调试时，我注意到我的“state”逻辑确实正在执行，但是状态不会超时——就像我使用“latest”时那样。有什么原因吗？
这是已知的问题吗？
注意：我在spark 2.3和2.4下试过这个
当我将“startingoffset”设置为“latest”时，我的spark结构化流媒体工作正常。当我简单地将它改为“最早”并指定了一个新的“check point directory”时，这个作业就不起作用了。各州10分钟后不会超时。
在调试时，我注意到我的“state”逻辑确实正在执行，但是状态不会超时——就像我使用“latest”时那样。有什么原因吗？
这是已知的问题吗？
注意：我在spark 2.3和2.4下试过这个
1条答案
按热度按时间qco9c6ql1#
在我将“maxoffsetspertrigger”设置为“200000”这样的值之后，它就开始工作了。