假设spark提供了2个流,其中一个流不是100%同步的。获取流媒体可能会有所不同。我们需要加入密钥流。我们有没有办法不经过任何的坚持就可以做到这一点?
lx0bsm1f1#
我认为这是不可能的,kafka streams附带了内置的支持,可以将kafka主题中的数据解释为这样一个不断更新的表。在kafka流dsl中,这是通过所谓的ktable实现的这些KTable由kafka streams的国有商店提供支持。这些状态存储是应用程序的本地存储(更准确地说:它们是应用程序示例的本地存储,其中可以有一个或多个),这意味着与这些状态存储的交互不需要通过网络进行通信,因此读写操作非常快。如果您决定不保留数据,您可能会开始丢失您可能不想要的信息
1条答案
按热度按时间lx0bsm1f1#
我认为这是不可能的,kafka streams附带了内置的支持,可以将kafka主题中的数据解释为这样一个不断更新的表。在kafka流dsl中,这是通过所谓的ktable实现的
这些KTable由kafka streams的国有商店提供支持。这些状态存储是应用程序的本地存储(更准确地说:它们是应用程序示例的本地存储,其中可以有一个或多个),这意味着与这些状态存储的交互不需要通过网络进行通信,因此读写操作非常快。如果您决定不保留数据,您可能会开始丢失您可能不想要的信息