我通过以下代码将组g1中一个kafka消费者的fetch offset倒回到off1:
consumer1.set_topic_partitions((topic, partition, off1))
在上面的一行中,off1是相应分区中主题最早可用消息的偏移量。
现在我在不同的g2组中示例化一个kafka消费者,如下所示:
consumer2 = KafkaConsumer(bootstrap_servers=broker,
auto_offset_reset='smallest',
auto_commit_enable=True,
auto_commit_interval_ms=3000,
group_id='G2'
)
在这里,我将fetch偏移量读取为off1,这与我为组g1中的consumer1重置的偏移量相同。我认为这不应该发生,因为对于不同的群体,补偿应该是不同的。如果有人澄清,我将非常感激。提前谢谢。
1条答案
按热度按时间os8fio9y1#
两个消费群体的阅读主题是否相同?
如果是这样,那么consumer1被设置为最早的偏移量,同样,consumer2也被设置为主题的最早偏移量,这也是由于以下设置的事实:
这将在主题的最早偏移处启动使用者。要从主题的最新点开始阅读,请使用: