Ollama 会过一段时间后发出一些胡言乱语,

5jdjgkvh 于 2个月前发布在其他

关注(0)|答案(1)|浏览(91)

问题：在使用OpenAI兼容API的phi3或deepseek-coder-v2上运行MMLU Pro基准测试时，出现了一个问题。当我运行这个测试时，它会运行一段时间，然后突然开始输出以下字符：

deepseek-coder-v2:16b-lite-instruct-q8_0
 `@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@`
Phi3:3.8b-mini-128k-instruct-q8_0
 `<unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk>`

整个响应中只包含这些字符。一旦发生一次，它就会为每个问题输出相同的响应，直到结束。我已经设置了环境变量export OLLAMA_NUM_PARALLEL=4,并使用--parallel 4选项运行脚本。根据Ollama返回的令牌使用情况，每个问题的提示符从未超过2048个令牌。到目前为止，我在M3 64gb的Mac和带有rtx-3090和rtx-4090的Runpod示例上都遇到了这个问题。

这将是一个难以追踪的bug,因为它只是偶尔发生，而且你必须在运行一段时间后才会出现这个问题。有人怀疑这可能是由什么原因引起的吗？