spark流中的背压特性是如何工作的?

fnvucqvd  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(384)

我有一个customreceiver,它接收单个事件(字符串)。在spark应用程序的运行时使用接收到的单个事件从nosql读取数据并应用转换。当观察到每个批处理的处理时间大于批处理间隔时,我设置此属性。
spark.streaming.backpressure.enabled=真
在这之后,我期望customreceiver在批处理时间长于批处理窗口时不会触发和接收事件,但这并没有发生,仍然有一批积压的批被添加。我是不是漏了什么?

pnwntuvh

pnwntuvh1#

试着检查一下这篇文章和这篇文章。

相关问题