我有一个kafka主题,以时间戳作为消息键,该主题按年-月散列进行分区。当我尝试使用presto查询kafka时,似乎presto将获得完整的消息集。我想知道是否Kafka连接器普雷斯托将做分区/偏移相关的优化?e、 如果我按时间戳范围过滤数据,它将转到目标kafka分区而不进行完全数据扫描。另一个用例是etl作业,它每小时/天处理一次数据,可以预先智能地定位那些数据束,例如继续最后的偏移量?
我有一个kafka主题,以时间戳作为消息键,该主题按年-月散列进行分区。当我尝试使用presto查询kafka时,似乎presto将获得完整的消息集。我想知道是否Kafka连接器普雷斯托将做分区/偏移相关的优化?e、 如果我按时间戳范围过滤数据,它将转到目标kafka分区而不进行完全数据扫描。另一个用例是etl作业,它每小时/天处理一次数据,可以预先智能地定位那些数据束,例如继续最后的偏移量?
暂无答案!
目前还没有任何答案,快来回答吧!