ollama 在OpenAI兼容端点中添加提供选项的能力,

vlf7wbxs  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(23)

看起来只能将系统提示和超参数(如温度)设置为模型配置文件的一部分。我正在使用OpenAI API,而ollama忽略了系统提示或此类超参数。据我所知,没有好的理由这样做。
我是不是漏掉了什么?

jtjikinw

jtjikinw1#

不知何故,我以为这已经是一件事了,并花了很多时间尝试不同的模型、提示微调等。结果发现事情仍然被裁剪,默认使用2048窗口,而支持16K+的模型作为请求选项被忽略。希望这是一个快速解决的功能,因为它已经在其他端点上。

7ajki6be

7ajki6be2#

我不是想显得咄咄逼人,但这方面有什么消息吗?

相关问题