问题:在使用OpenAI兼容API的phi3或deepseek-coder-v2上运行MMLU Pro基准测试时,出现了一个问题。当我运行这个测试时,它会运行一段时间,然后突然开始输出以下字符:
deepseek-coder-v2:16b-lite-instruct-q8_0
`@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@`
Phi3:3.8b-mini-128k-instruct-q8_0
`<unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk>`
整个响应中只包含这些字符。一旦发生一次,它就会为每个问题输出相同的响应,直到结束。我已经设置了环境变量export OLLAMA_NUM_PARALLEL=4
,并使用--parallel 4选项运行脚本。根据Ollama返回的令牌使用情况,每个问题的提示符从未超过2048个令牌。到目前为止,我在M3 64gb的Mac和带有rtx-3090和rtx-4090的Runpod示例上都遇到了这个问题。
这将是一个难以追踪的bug,因为它只是偶尔发生,而且你必须在运行一段时间后才会出现这个问题。有人怀疑这可能是由什么原因引起的吗?
操作系统
Linux,macOS
GPU
Nvidia,Apple
CPU
AMD,Apple
Ollama版本
0.1.48,0.2.1
1条答案
按热度按时间u59ebvdq1#
我也是,
在v0.2.1之前
现在使用最新版本0.2.5,所有乱码(也在deepseeker和qwen2中):