当我问更长的问题时,大约有15K左右。我已经设置了足够的tokens:/set参数num_ctx 4096。模型输出数字和符号的组合。为什么?
模型正常输出
运行命令:ollama run qwen14:latest
Linux
x86
0.1.27
Nvidia
4090 * 2
gcuhipw91#
我也是
emeijp432#
我发现当我在命令行配置【/set parameter num_ctx 4096】 或者在api调用中添加num_ctx 参数时,都会报这个错误,不确定是用法不对,还是这个参数有问题。 不用这个参数就行了。我从结果看上去,即便是用默认值,好像也是没有做截断的(不确定)。
2条答案
按热度按时间gcuhipw91#
我也是
emeijp432#
我也是
我发现当我在命令行配置【/set parameter num_ctx 4096】 或者在api调用中添加num_ctx 参数时,都会报这个错误,不确定是用法不对,还是这个参数有问题。 不用这个参数就行了。我从结果看上去,即便是用默认值,好像也是没有做截断的(不确定)。