Kafka 偏移量大于生成的记录数

c6ubokkw  于 2024-01-06  发布在  Apache
关注(0)|答案(1)|浏览(147)

我在纯空的topic中只生成了两条来自Kafka Producer的消息,所以里面没有旧的消息。当我运行这个命令时:
第一个月
我得到了这个输出:
| 组|主题|分区|电流偏移|日志结束偏移|滞后|消费者ID|
| --|--|--|--|--|--|--|
| 某群|某主题| 0 | 4 | 4 | 0 |a9e083cb|
| 某群|某主题| 1 | 0 | 0 | 0 |a9e083cb|
| 某群|某主题| 2 | 0 | 0 | 0 |a9e083cb|
这告诉我有最新的偏移量,它的值是4!我真的不明白为什么它是这样的。我只产生了2条记录,因为它们存储在分区0,偏移量必须是0和1,或1和2,而不是4!
我无法找出这里的问题所在。

axr492tv

axr492tv1#

Kafka的最新版本默认包含transactional producer。这意味着一些偏移量将是transactional标记,消费者可以在处理过程中跳过。因此2条记录(运行控制台producer两次)也会放置两个标记

相关问题