flink应用程序级别障碍

zbdgwd5y 于 2021-06-25 发布在 Flink

关注(0)|答案(1)|浏览(666)

我在试着找出在flink中合并多个流的合适方法。
假设我有4个键控流，每个流计算成批数据的聚合统计信息。接下来，我要将这4个流的结果合并到一个流（y）中，并对收到的4个摘要执行一些额外的计算。

问题是如何让y节点等到它接收到x=n的所有摘要之后再继续x=n+1。在图片中，节点3发送其摘要x=n的时间晚于节点4发送其x=n+1的时间，因此节点y必须等待，直到它接收到节点3摘要，同时以某种方式缓存来自其他节点的具有x=n+1的摘要。
我找不到任何类似的文件，所以我真的很感谢任何提示。