有没有可能让Kafka消费群中的所有客户都读取相同的数据？

guykilcj 于 2021-06-08 发布在 Kafka

关注(0)|答案(2)|浏览(405)

我需要阅读Kafka主题的最新消息，其中包含3个分区。我需要从5个不同的客户机读取相同的数据，首先我尝试使用简单的使用者，但它不能使用多个分区。其目的是让分区处理组使用者，并向所有客户机获取相同的msg。

来源：https://stackoverflow.com/questions/27943034/is-it-possible-to-make-all-the-clients-in-kafka-consumer-group-reading-same-data

2条答案

按热度按时间

mrwjdhj31#

您应该为不同的客户机使用不同的消费者组名称。
考虑一下：您有一个包含3个分区的主题。客户机1在组1中有一个正在运行的使用者（或多个使用者，无论什么），并从所有分区获取消息。客户机2在组2中有一个消费者，以此类推。。
这样，组1中可能有2个使用者为客户机1使用消息，组2中可能有3个使用者为客户机2或任何其他配置使用消息。

赞(0）回复(0）举报 2021-06-09

sgtfey8w2#

您可以为每个客户端使用不同的使用者组名称。
每个Kafka消费者都是消费群体的一部分。它的工作方式是所有消息都被每个消费群体消费。但这一群体中只有一个消费者会消费它。你可以阅读这个来了解更多的细节

赞(0）回复(0）举报 2021-06-09