camel [BUG] 过度使用OpenAI API在每次Git推送中

hrirmatl  于 5个月前  发布在  Git
关注(0)|答案(2)|浏览(112)

必需的先决条件

问题描述

我们发现了一个关键问题,即每次推送到Git仓库时都会调用OpenAI API。这种行为非常低效,可能造成不必要的API调用,无论它们是否需要用于正在推送的特定代码更改。
预期的行为是,只有在特定条件下(例如合并PR之前),OpenAI API才会被触发。

h7appiyu

h7appiyu1#

此外,我们还要求所有调用LLM的单元测试提供由LLM生成的文本以模拟其输出,这样我们就可以在CI/CD中查看生成的文本是否格式正确。最后,在决定合并PR之前,我们运行一次LLM的实际输出。

z3yyvxxp

z3yyvxxp2#

我们真的需要LLM的实际输出吗?当我检查了几个著名的代理项目时,它们都只使用模拟输出。一个可能的原因是大多数测试不需要输出内容,而只需要它们的格式。此外,它们的测试数量也没有我们那么多。我想知道我们的严格测试是否限制了我们的开发进度?
我们能否删除一些实际上没有用的测试?

相关问题