当系统消息超过一定长度时,ollama无法处理它,

rbl8hiat  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(37)

问题是什么?

当系统消息超过一定长度(4096字节,可能)时,Ollama会返回"It seems like you're sharing some information, but it's not in a readable format. Could you please rephrase or provide more context about what this is related to? I'd be happy to help if I can! "。当我使用版本0.1.47时,这是可以接受的。

操作系统

Linux,macOS

GPU

Nvidia,Apple

CPU

AMD,Apple

Ollama版本

0.3.4

rsaldnfx

rsaldnfx1#

你好,@billrenhero,感谢你提出这个问题。可能是上下文大小太小了——将num_ctx设置为8192或更高(如果模型支持的话)应该有所帮助。同时,我会研究如何避免截断系统提示。

相关问题