如何在时间戳在间隔内的分区中查询kafka主题中的记录?

w8f9ii69  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(201)

我有一个Kafka主题(版本1.0.0)和时间序列数据。我想找到所有具有特定键的记录,以及记录时间戳在给定时间间隔内的位置。
我目前的做法如下:
创建Kafka消费者 enable.auto.commit 设置为false(从而避免在轮询时提交偏移量)
找到我要找的钥匙所在的分区
将该分区分配给kafkaconsumer
通过 offsetsForTimes ,找到最接近时间间隔起点的偏移量 seek Kafka消费者开始在这个偏移量上阅读
poll 在循环中,用匹配键累加所有记录,直到返回一个时间戳晚于时间间隔结束的记录
这种工作。以下是一些问题:
这个 poll 函数有时在到达结尾之前返回空列表。
如果间隔的结束时间是现在,则在将来的记录写入主题之前,轮询不会停止。
在多个线程上重用相同的使用者组id安全吗?
有没有更好的方法来查询历史记录?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题