我有一个使用kafka数据的用例。kafka中的消息将与一个键相关联,以维持每个分区中的顺序。现在,当我使用这些消息时,我必须并行处理这些消息,而且我不应该错过按键分组的消息序列。为了实现并行性,我们可以使用线程,但不能保证排序。在我们的用例中,排序永远不会受到影响。感谢在实现并行+排序方面的任何帮助。
nfg76nw01#
您所描述的问题在分布式系统中是一个非常典型的问题。例如,它在jms中使用消息分组的概念进行寻址。基本上,jms代理提供了一种保证,即属于特定组的任何消息都将始终由公共使用者使用,因此(在组内)遵守fifo顺序。我不是Kafka的Maven,但我想应该有类似的机制。
1条答案
按热度按时间nfg76nw01#
您所描述的问题在分布式系统中是一个非常典型的问题。例如,它在jms中使用消息分组的概念进行寻址。基本上,jms代理提供了一种保证,即属于特定组的任何消息都将始终由公共使用者使用,因此(在组内)遵守fifo顺序。
我不是Kafka的Maven,但我想应该有类似的机制。