flink在pardo转换中控制并行性

dwbf0jvd  于 2021-06-24  发布在  Flink
关注(0)|答案(0)|浏览(260)

我目前正在开发一个使用apachebeam和flink作为执行引擎的管道。作为过程的一部分,我从kafka读取数据并执行一系列转换,这些转换涉及到连接、聚合以及查找外部数据库。
我们的想法是,在执行聚合时,我们希望与flink具有更高的并行性,但最终合并数据,并使写入db的进程数量更少,以便目标db能够处理它(例如,我希望聚合的并行度为40,但写入目标db时仅为10)。
我们有没有办法在光束中做到这一点?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题