spark/kafka的scala-join流媒体

5lwkijsr  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(317)

假设spark提供了2个流,其中一个流不是100%同步的。获取流媒体可能会有所不同。我们需要加入密钥流。我们有没有办法不经过任何的坚持就可以做到这一点?

lx0bsm1f

lx0bsm1f1#

我认为这是不可能的,kafka streams附带了内置的支持,可以将kafka主题中的数据解释为这样一个不断更新的表。在kafka流dsl中,这是通过所谓的ktable实现的
这些KTable由kafka streams的国有商店提供支持。这些状态存储是应用程序的本地存储(更准确地说:它们是应用程序示例的本地存储,其中可以有一个或多个),这意味着与这些状态存储的交互不需要通过网络进行通信,因此读写操作非常快。如果您决定不保留数据,您可能会开始丢失您可能不想要的信息

相关问题