kafkaconsumer倒带到最旧可用消息中的问题

xsuvu9jc  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(430)

我通过以下代码将组g1中一个kafka消费者的fetch offset倒回到off1:

consumer1.set_topic_partitions((topic, partition, off1))

在上面的一行中,off1是相应分区中主题最早可用消息的偏移量。
现在我在不同的g2组中示例化一个kafka消费者,如下所示:

consumer2 = KafkaConsumer(bootstrap_servers=broker,
                                  auto_offset_reset='smallest',
                                  auto_commit_enable=True,
                                  auto_commit_interval_ms=3000,
                                  group_id='G2'
                                  )

在这里,我将fetch偏移量读取为off1,这与我为组g1中的consumer1重置的偏移量相同。我认为这不应该发生,因为对于不同的群体,补偿应该是不同的。如果有人澄清,我将非常感激。提前谢谢。

os8fio9y

os8fio9y1#

两个消费群体的阅读主题是否相同?
如果是这样,那么consumer1被设置为最早的偏移量,同样,consumer2也被设置为主题的最早偏移量,这也是由于以下设置的事实:

auto_offset_reset='smallest'

这将在主题的最早偏移处启动使用者。要从主题的最新点开始阅读,请使用:

auto_offset_reset='largest'

相关问题