kafka代理的spark结构化流媒体变化对检查点的影响

inb24sb2  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(171)

我们有一个spark结构的流媒体应用程序在生产环境中运行,内部管理kafka(我们称之为 kafka-inhouse )
我们决定迁移到 aiven kafka cloud .
假设:
我们使用来自 kafka-inhouse ,然后将新消息发布到 aiven kafka cloud 这个 path 以及 checkpoint 在s3中,我们存储kafka消息(使用spark流媒体应用程序)不会改变。
问题:
spark结构化流媒体能否无缝管理Kafka经纪人的变化,尤其是 checkpointing 一旦我们迁移?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题