对于这个用例，我应该使用kafka消费者api还是kafka流api？我有一个主题，很多消费者都在讨论这个主题。本主题包含一种类型的事件，它是一个json消息，内部隐藏了一个类型字段。一些消息将被某些消费群体而不是其他消费群体所消费，一个消费群体可能根本不会消费许多消息。
我的问题是：我是否应该使用consumerapi，然后在每个事件上读取type字段并基于type字段删除或处理事件。
或者，我应该使用streams api、filter方法和 predicate 进行过滤吗？
在我使用一个事件之后，计划是处理该事件（db delete、update或其他，取决于服务），然后如果出现故障，我将生成一个单独的队列，稍后我将重新处理该队列。
谢谢你。
1条答案
按热度按时间fnatzsnv1#
这似乎更多的是意见问题。我个人会使用streams/ksql，这可能是您需要维护的较小的代码。您可以有另一个中介主题，其中包含清理后的数据，然后可以附加到连接接收器、其他使用者或其他流和ksql进程。使用流，您可以在不同的机器上扩展单个应用程序，可以存储状态，有备用副本等等，这将是一个pita来完成所有这些。