ludwig 减少TestDatasetWindowAutosizing测试的资源开销

dgjrabp2  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(17)

这些测试在很多情况下似乎导致了143个错误,这通常是由于GitHub的OOMs或其他高资源取消导致的。我们应该找到一种不需要生成和处理如此多临时数据的方法来运行这些测试。

nsc4cvqm

nsc4cvqm1#

这是一个反复出现的问题:窗口测试已经进行了几次迭代,以减少它们的开销。最后一次迭代引入了一个模拟的对象存储大小,以模拟自动窗口条件,使用一个非常小的(<< 1GB)合成数据集,而实际上并没有触及内存上限。很高兴再次尝试修复它们,因为这会阻碍其他工作。

相关问题