我知道,在ksql中,我们可以将偏移量设置为最早或最晚,但我们是否可以从特定时间段获取数据,即我需要从2020年5月6日获取插入主题的数据?
carvr3hs1#
在ksqldb中,您可以从头开始查询( SET 'auto.offset.reset' = 'earliest'; )或者主题的结尾( SET 'auto.offset.reset' = 'latest'; ).当前不能(0.8.1/cp 5.5)搜索任意偏移量。你可以从最早的偏移量开始,然后使用 ROWTIME 在 predicate 中标识符合需求的消息。
SET 'auto.offset.reset' = 'earliest';
SET 'auto.offset.reset' = 'latest';
ROWTIME
SELECT * FROM MY_SOURCE_STREAM WHERE ROWTIME>=1588772149620
请注意,这会按顺序扫描,因此取决于主题中的数据量可能不会特别快。
1条答案
按热度按时间carvr3hs1#
在ksqldb中,您可以从头开始查询(
SET 'auto.offset.reset' = 'earliest';
)或者主题的结尾(SET 'auto.offset.reset' = 'latest';
).当前不能(0.8.1/cp 5.5)搜索任意偏移量。
你可以从最早的偏移量开始,然后使用
ROWTIME
在 predicate 中标识符合需求的消息。请注意,这会按顺序扫描,因此取决于主题中的数据量可能不会特别快。