Spark流容错

ca1c2owp  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(244)

这不是一个典型的有错误的编码问题。我的问题是:我正在尝试从我公司的内部mq流式传输数据。为了接收数据,我遵循了这个教程:spark custom receiver,但是这个内部mq不支持acknowledgements,也不支持重新发送消息。当一个新的味精出现时,它就会飞出来。我知道在spark流中,我们可以使用检查点来启用wal,以防流应用程序失败。但是,如果在第一次将数据/元数据写入wal时失败了呢?在这种情况下,我将永远丢失数据。有没有其他办法让它失去零数据?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题