debugging 跨多个环境的GCP数据流作业中的异常内存使用模式

o75abkj4  于 2023-05-29  发布在  其他
关注(0)|答案(1)|浏览(126)

我目前正在处理4个数据流作业,每个作业都在3个独立的环境中复制。在过去的3个月里,所有12个示例都成功运行。但是,我在大多数这些示例中观察到一种奇怪的内存使用模式,即内存消耗在突然崩溃之前呈阶梯形上升。幸运的是,这些崩溃没有导致数据丢失。
目前,我们正在低负荷下运行,但我担心当我们最终过渡到满负荷时可能出现的问题。我应该担心这种内存使用模式吗?如果是这样,我应该调查哪些主要领域来诊断和解决这个问题?任何指导或见解将不胜感激。

tjvv9vkg

tjvv9vkg1#

经过与谷歌的调查,并添加了一些变化的工作,我们得出结论,这很可能是最晚的数据,没有处理的工作。添加一个丢弃延迟数据的配置似乎解决了这个问题。

相关问题