问题是什么?
qwen2-72b开始输出类似这样的乱码:.5"5.F9(CB;6@FC9!DC:$B$D60G5",3B+2;1-*,@%=876E0;5*:.98G4!980+D
在某个时刻,如果我将num_ctx设置为8192。
正常的llm输出是预期的。
当使用ollama run
或使用api(Silly Tavern)时,问题仍然存在。
qwen2-72b在使用num_ctx 2048时运行正常。
操作系统
Linux
GPU
Nvidia
CPU
Intel
Ollama版本
0.1.42
2条答案
按热度按时间rnmwe5a21#
我也看到了这个问题。我无法让这个模型在较长的上下文长度下输出任何连贯的内容。
bvjxkvbb2#
问题仍然存在于0.2.1版本中。