ollama 如果将num_ctx设置为8192,qwen2-72b在某个时刻开始输出乱码,

f87krz0w  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(27)

问题是什么?
qwen2-72b开始输出类似这样的乱码:
.5"5.F9(CB;6@FC9!DC:$B$D60G5",3B+2;1-*,@%=876E0;5*:.98G4!980+D
在某个时刻,如果我将num_ctx设置为8192。
正常的llm输出是预期的。
当使用ollama run或使用api(Silly Tavern)时,问题仍然存在。
qwen2-72b在使用num_ctx 2048时运行正常。

操作系统

Linux

GPU

Nvidia

CPU

Intel

Ollama版本

0.1.42

rnmwe5a2

rnmwe5a21#

我也看到了这个问题。我无法让这个模型在较长的上下文长度下输出任何连贯的内容。

bvjxkvbb

bvjxkvbb2#

问题仍然存在于0.2.1版本中。

相关问题