CTranslate2 如何手动清除生成器.generate_tokens的静态提示缓存？

idv4meu8 于 2个月前发布在其他

关注(0)|答案(2)|浏览(38)

我想知道是否存在任何方法可以手动清除生成器.generate_tokens的静态提示缓存。我们正在运行一个算法，其中许多计算可以通过缓存来节省，然而在我们的设置中，我们有多个静态提示而不是一个。通过将所有这些设置为静态提示，我们观察到gpu内存不断增加。那么我们能在这里手动清除静态提示的缓存吗？

2条答案

在这种情况下，唯一清除缓存的方法是删除 Generator 对象。在这种情况下，模型和缓存都将被释放。
您正在处理多少个静态提示？您是否希望完全清除缓存或仅清除特定提示？

让我更清楚地说明一下，我们正在研究一些树搜索算法。在树搜索算法中，由于每个节点的前向轨迹已经预先计算过，因此可以缓存大量的计算结果。因此，我们考虑将前向轨迹视为静态提示。最终，我们最多可以有500个静态提示。我们希望尽可能清除缓存，因为如果直接删除生成器，模型加载也会花费很多时间。