如何在Kafka主题中找到信息的偏移量?偏移量包含多条消息还是一条消息?
roqulrg31#
假设你已经用 consume() 或者 poll() ,并且您对该消息的详细信息感兴趣,可以使用以下代码找到相应的分区和偏移:
consume()
poll()
# assuming you have a Kafka consumer in place msg = consumer.consume() partition = msg.partition() offset = msg.offset()
Kafka的主题被划分为几个部分。kafka以循环方式将传入的消息分发到各个分区(除非您指定了要对其进行分区的某个键)。因此,对于一个您没有读过的随机消息,您可能需要扫描所有分区以找到该消息,然后是相应的偏移量。
uhry853o2#
在主题的单个分区中,只偏移到单个消息的链接。您可以在许多分区和许多主题中使用相同的偏移量,但是这些值之间几乎没有相关性,除非您明确地让生产者这样做。没有简单的方法可以找到一条消息的偏移量。您需要扫描整个主题(或至少一个分区)
2条答案
按热度按时间roqulrg31#
假设你已经用
consume()
或者poll()
,并且您对该消息的详细信息感兴趣,可以使用以下代码找到相应的分区和偏移:Kafka的主题被划分为几个部分。kafka以循环方式将传入的消息分发到各个分区(除非您指定了要对其进行分区的某个键)。因此,对于一个您没有读过的随机消息,您可能需要扫描所有分区以找到该消息,然后是相应的偏移量。
uhry853o2#
在主题的单个分区中,只偏移到单个消息的链接。
您可以在许多分区和许多主题中使用相同的偏移量,但是这些值之间几乎没有相关性,除非您明确地让生产者这样做。
没有简单的方法可以找到一条消息的偏移量。您需要扫描整个主题(或至少一个分区)