我有一个Kafka主题(版本1.0.0)和时间序列数据。我想找到所有具有特定键的记录,以及记录时间戳在给定时间间隔内的位置。
我目前的做法如下:
创建Kafka消费者 enable.auto.commit
设置为false(从而避免在轮询时提交偏移量)
找到我要找的钥匙所在的分区
将该分区分配给kafkaconsumer
通过 offsetsForTimes
,找到最接近时间间隔起点的偏移量 seek
Kafka消费者开始在这个偏移量上阅读
做 poll
在循环中,用匹配键累加所有记录,直到返回一个时间戳晚于时间间隔结束的记录
这种工作。以下是一些问题:
这个 poll
函数有时在到达结尾之前返回空列表。
如果间隔的结束时间是现在,则在将来的记录写入主题之前,轮询不会停止。
在多个线程上重用相同的使用者组id安全吗?
有没有更好的方法来查询历史记录?
暂无答案!
目前还没有任何答案,快来回答吧!