具有多个分区的kafka主题中的重复偏移量

13z8s7eq  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(418)

我正在使用 kafka_2.10-0.10.0.1zookeeper-3.4.10 . 我知道补偿有很多种。我有两个问题:-我想知道 ConsumerRecord.offset(). -如果我使用一个由10个分区创建的主题,我可以获得一组具有相同偏移量值的记录吗?在我的程序中,我需要获得具有不同偏移值的记录列表。我想知道我是否必须使用一个单独分区的主题来实现这个目标?

brvekthn

brvekthn1#

我想知道 ConsumerRecord.offset() .
这是记录来自的主题分区中记录的偏移量。
如果我使用一个由10个分区创建的主题,我可以获得一组具有相同偏移量值的记录吗?
是的,您可以在每个分区中查找该偏移量并读取该值。为此,将您想要的主题分区分配给您的使用者 Consumer#assign() ,然后使用 Consumer#seek() 查看要读取的偏移量。当你 poll() ,消费者将从该偏移量开始读取。
我想知道我是否必须使用一个单独分区的主题来实现这个目标?
你不必这么做。您可以从任何分区读取任何偏移量。

相关问题