ollama 当我提出一个较长的问题时，输出是任意的,

2g32fytz 于 2个月前发布在其他

关注(0)|答案(2)|浏览(21)

问题是什么？

当我问更长的问题时，大约有15K左右。我已经设置了足够的tokens:/set参数num_ctx 4096。模型输出数字和符号的组合。为什么？

你期望看到什么？

模型正常输出

重现步骤

运行命令：ollama run qwen14:latest

是否有最近的更改引入了问题？

无响应*

OS

Linux

架构

x86

平台

无响应*

Ollama版本

0.1.27

GPU

Nvidia

GPU信息

4090 * 2

CPU

无响应*

其他软件

无响应*

ollama

来源：https://github.com/ollama/ollama/issues/3534

2条答案

按热度按时间

gcuhipw91#

我也是

赞(0）回复(0）举报 2个月前

emeijp432#

我也是

我发现当我在命令行配置【/set parameter num_ctx 4096】或者在api调用中添加num_ctx 参数时，都会报这个错误，不确定是用法不对，还是这个参数有问题。不用这个参数就行了。我从结果看上去，即便是用默认值，好像也是没有做截断的(不确定)。