我的spark流应用程序中有一个kafka消息生成器（kafkaproducer）。为此，在将其发送到我的生成器之前，我需要检测一个message.value是否已经存在于kafka中有什么工具可以让我查询Kafka的信息吗？我不想使用消息而只是查询已有的消息。。
yshpjwxd1#
简而言之：这是不可能的内置Kafka功能。也许您可以解释为什么在当前用例中需要这样的功能，因为可能有其他方法来实现您想要做的事情。
tp5buhyn2#
如果必须在插入值之前查找键，则可能需要使用hbase或mongodb，或更多选项：elasticsearch、cassandra。kafka是一个数据缓冲区，它的目的是使系统解耦。您应该以正确的方式使用这些技术：）
2条答案
按热度按时间yshpjwxd1#
简而言之：这是不可能的内置Kafka功能。
也许您可以解释为什么在当前用例中需要这样的功能，因为可能有其他方法来实现您想要做的事情。
tp5buhyn2#
如果必须在插入值之前查找键，则可能需要使用hbase或mongodb，或更多选项：elasticsearch、cassandra。kafka是一个数据缓冲区，它的目的是使系统解耦。您应该以正确的方式使用这些技术：）