我正在写Kafka流中的跳窗代码,在哪里 minMaxCalculator()
一旦流按键分组,计算流中的最小值和最大值。
KTable<Windowed<String>, aggrTest> WinMinMax = Records.groupByKey().aggregate(new aggrTestInitilizer(),
new minMaxCalculator()
, TimeWindows.of(TimeUnit.SECONDS.toMillis(5)).advanceBy(TimeUnit.SECONDS.toMillis(1)),aggrMessageSerde,"aggr-test");
一旦我按键分组,我想并行处理为所有键生成的窗口,即使有一个kafka分区。我们怎么做?在哪里可以设置窗口对应的并行度?
1条答案
按热度按时间5vf7fwbs1#
并行性基于输入分区,不能与它们不同。因此,没有可以设置的参数。
但是,您可以创建一个具有所需分区数的主题,并使用它进行手动重新分区
through()
:查看文档了解更多详细信息:
https://docs.confluent.io/current/streams/architecture.html#parallelism-型号
https://docs.confluent.io/current/streams/developer-guide/manage-topics.html#user-主题