我在使用启用kafka的azure事件中心的事件时收到重复消息。我们正在对大约30k条消息进行负载测试,所有这些30k条消息首先从confluent kafka上的外部源系统在我们这边使用,然后我们进行数据处理/转换,并将其发送到azure(支持kafka的azure事件中心)上的内部kafka主题,我们的下游应用程序从中使用这些消息。我们能够从confluent kafka消费消息(>30k),而不会产生任何问题,但一旦完成数据转换,这些消息就被发送到事件中心主题,供下游应用程序消费,这就是我们观察到的对于具有卷(大约>400 msg)的传入消息,即使在用户端手动确认每个记录之后,消息也会被重新处理(复制)。我们的java服务使用spring云流kafka依赖项:
org.springframework.cloud spring云依赖关系hoxton.release
org.springframework.cloud spring cloud starter stream kafka 3.0.0.release发布
用于消费消息。正如在前面的帖子中提到的,这个问题发生在一个消费者组中的两个消费者身上,但是在我们的例子中,它的一个主题和一个消费者组中的一个消费者,仍然得到重复的消息。我看到已经有问题了:https://github.com/azure/azure-event-hubs-java/issues/339,但讨论没有结束。有人能告诉我这是否是云流kafka或azure事件中心的问题吗?我不认为这是云流kafka的问题,因为我们能够使用来自合流kafka的消息,这与azure事件中心有关。如果有人能帮忙,我将不胜感激。
暂无答案!
目前还没有任何答案,快来回答吧!