设置Kafka流中的窗口[跳跃、翻滚等]平行度

zlwx9yxi  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(477)

我正在写Kafka流中的跳窗代码,在哪里 minMaxCalculator() 一旦流按键分组,计算流中的最小值和最大值。

KTable<Windowed<String>, aggrTest> WinMinMax = Records.groupByKey().aggregate(new aggrTestInitilizer(), 
        new minMaxCalculator()
        , TimeWindows.of(TimeUnit.SECONDS.toMillis(5)).advanceBy(TimeUnit.SECONDS.toMillis(1)),aggrMessageSerde,"aggr-test");

一旦我按键分组,我想并行处理为所有键生成的窗口,即使有一个kafka分区。我们怎么做?在哪里可以设置窗口对应的并行度?

5vf7fwbs

5vf7fwbs1#

并行性基于输入分区,不能与它们不同。因此,没有可以设置的参数。
但是,您可以创建一个具有所需分区数的主题,并使用它进行手动重新分区 through() :

stream.through("multi-partition-topic").groupByKey()...

查看文档了解更多详细信息:
https://docs.confluent.io/current/streams/architecture.html#parallelism-型号
https://docs.confluent.io/current/streams/developer-guide/manage-topics.html#user-主题

相关问题