问题是什么?
你好,我遇到了一个问题:
无论我是使用OpenAI API还是Ollama-python进行模型推理,都会陷入无休止的加载中。
当我检查日志时,发现日志中没有POST请求的记录。
我尝试通过重新安装和重启来解决这个问题,但这并没有奏效。
但是让我非常困惑的是,在我的另一台笔记本电脑上,有一个类似的工作环境(Windows),两者都能正常运行。
我在issue中没有找到类似的问题,所以对于如何解决这个问题的建议将不胜感激。
操作系统
Windows
GPU
Nvidia
CPU
Intel
Ollama版本
0.1.42
1条答案
按热度按时间cwtwac6a1#
请尝试使用推荐的提示模板。对于基于llama3的模型,如果没有明确使用所有预期标记(如<|start_text|>等),我也会得到相同的结果(什么都不会发生)。