并行处理和维护消费端的秩序-Kafka+ Camel

4si2a6ki  于 2021-07-15  发布在  Kafka
关注(0)|答案(1)|浏览(347)

我有一个使用kafka数据的用例。kafka中的消息将与一个键相关联,以维持每个分区中的顺序。现在,当我使用这些消息时,我必须并行处理这些消息,而且我不应该错过按键分组的消息序列。
为了实现并行性,我们可以使用线程,但不能保证排序。在我们的用例中,排序永远不会受到影响。感谢在实现并行+排序方面的任何帮助。

nfg76nw0

nfg76nw01#

您所描述的问题在分布式系统中是一个非常典型的问题。例如,它在jms中使用消息分组的概念进行寻址。基本上,jms代理提供了一种保证,即属于特定组的任何消息都将始终由公共使用者使用,因此(在组内)遵守fifo顺序。
我不是Kafka的Maven,但我想应该有类似的机制。

相关问题