在ksql中,除了增加分区外,如何加入不相等数量的分区持有流?示例stream-1具有3个分区,stream-2具有2个分区。在这种情况下,我们当然可以将stream-1的分区数增加为3个join。但是我想知道,还有其他方法可以通过ksql连接不相等的分区流吗?
e1xvtsh31#
不,不幸的是kstream/ksql不支持不等分区主题的连接。在调用join操作之前,两个主题应该有相同数量的分区是一个先决条件,否则它将失败。您可以在此处阅读有关共分区要求的更多信息:https://docs.confluent.io/current/ksql/docs/developer-guide/partition-data.html#partition-用于启用联接的数据为了确保共分区,您可以使用partition\u by子句来创建新的流:
CREATE STREAM topic_rekeyed WITH (PARTITIONS=6) AS SELECT * FROM topic PARTITION BY topic_key;
1条答案
按热度按时间e1xvtsh31#
不,不幸的是kstream/ksql不支持不等分区主题的连接。
在调用join操作之前,两个主题应该有相同数量的分区是一个先决条件,否则它将失败。
您可以在此处阅读有关共分区要求的更多信息:https://docs.confluent.io/current/ksql/docs/developer-guide/partition-data.html#partition-用于启用联接的数据
为了确保共分区,您可以使用partition\u by子句来创建新的流: