我有一个customreceiver,它接收单个事件(字符串)。在spark应用程序的运行时使用接收到的单个事件从nosql读取数据并应用转换。当观察到每个批处理的处理时间大于批处理间隔时,我设置此属性。
spark.streaming.backpressure.enabled=真
在这之后,我期望customreceiver在批处理时间长于批处理窗口时不会触发和接收事件,但这并没有发生,仍然有一批积压的批被添加。我是不是漏了什么?
我有一个customreceiver,它接收单个事件(字符串)。在spark应用程序的运行时使用接收到的单个事件从nosql读取数据并应用转换。当观察到每个批处理的处理时间大于批处理间隔时,我设置此属性。
spark.streaming.backpressure.enabled=真
在这之后,我期望customreceiver在批处理时间长于批处理窗口时不会触发和接收事件,但这并没有发生,仍然有一批积压的批被添加。我是不是漏了什么?
1条答案
按热度按时间pnwntuvh1#
试着检查一下这篇文章和这篇文章。