anything-llm [FEAT]: 多个LLM偏好

os8fio9y  于 2个月前  发布在  其他
关注(0)|答案(5)|浏览(39)

你想看到什么?

我希望能够示例化多个LLM提供程序。例如,在Azure上,我可以创建多个端点(不同区域或不同模型)。如果不用不断更改一个选项就好了。

hs1ihplo

hs1ihplo1#

请检查工作区设置,您可以在每个工作区中更改模型。然而,LM工作室并未出现在列表中。

23c0lvtd

23c0lvtd2#

请检查工作区设置,您可以为每个工作区更改模型。然而,LM工作室并未出现在列表中。
是的,一旦我配置了一个模型,我可以将其分配给一个工作区。但是,一旦我配置了例如通用OpenAI模型,我就无法为每个工作区重新配置它。
OpenAI配置有一个单独的下拉菜单,因此使用相同的API密钥,我可以为每个工作区拥有不同的模型,但它似乎不允许我为不同的工作区使用不同的API密钥。

ccgok5k5

ccgok5k53#

请检查工作区设置,您可以在每个工作区中更改模型。然而,LM工作室并未出现在列表中。

我在代码库中找到了这条评论:Some providers can only be associated with a single model.
我非常确定这是一个错误,现在正在进行双重检查。
编辑;围绕这个问题创建了一个问题:#1582

lnxxn5zx

lnxxn5zx4#

我也是,我想能够在每个工作区使用不同的密钥API(每个用户都可以拥有与其他人不同的API密钥)

rfbsl7qr

rfbsl7qr5#

问题在于通用的OpenAI和其他公司正在使用这些变量。当你创建一个工作区并配置它时,它会将设置写入.env文件。当你创建另一个工作区并为例如设置不同的URL时,它会覆盖它。LLM设置应该存储在数据库中,而不是.env文件中。我还想引入LLM示例的概念,这样你可以配置多个具有不同设置的LLM示例,并将其中之一应用于工作区。

相关问题