spark驱动程序中使用的检查点变量

ruoxqz4g  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(208)

我正在从kafka流式传输数据,并在应用程序中维护状态(通过使用updatestatebykey),因此我必须检查我的数据。这很有效。
除了来自kafka的数据之外,我还使用一些局部变量来保存信息,比如总记录,以及一些特定于我的应用程序的信息,这些信息会根据我们从kafka收到的数据而改变。
因此,我也希望保留这些信息,以便在驱动程序出现故障时进行恢复。有没有办法检查这些额外的数据?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题