如何在Kafka主题中找到信息的偏移量

fdbelqdn  于 2021-06-06  发布在  Kafka
关注(0)|答案(2)|浏览(536)

如何在Kafka主题中找到信息的偏移量?偏移量包含多条消息还是一条消息?

roqulrg3

roqulrg31#

假设你已经用 consume() 或者 poll() ,并且您对该消息的详细信息感兴趣,可以使用以下代码找到相应的分区和偏移:


# assuming you have a Kafka consumer in place

msg = consumer.consume()
partition = msg.partition()
offset = msg.offset()

Kafka的主题被划分为几个部分。kafka以循环方式将传入的消息分发到各个分区(除非您指定了要对其进行分区的某个键)。因此,对于一个您没有读过的随机消息,您可能需要扫描所有分区以找到该消息,然后是相应的偏移量。

uhry853o

uhry853o2#

在主题的单个分区中,只偏移到单个消息的链接。
您可以在许多分区和许多主题中使用相同的偏移量,但是这些值之间几乎没有相关性,除非您明确地让生产者这样做。
没有简单的方法可以找到一条消息的偏移量。您需要扫描整个主题(或至少一个分区)

相关问题