ollama AI模型在接收到少量用户消息后停止工作,

qzlgjiam  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(28)

问题是什么?

我在dolphin-llama3:latestllama-dolphin:latest上测试过这个问题。我相信这也可能与其他模型有关。

这不是一个Ollama的问题,但是在向内容提示中提供一些用户消息(如:

const history = [
  { role: 'user', content: 'respond' },
  { role: 'user', content: 'a' },
  { role: 'user', content: 'la' },
  { role: 'user', content: 'hi' },
  { role: 'user', content: 'hallo' },
  { role: 'user', content: 'test' }
]

)之后,它似乎学会了不说话。它在内容提示中什么也不返回。我本来想把所有这些合并成一个用户内容,但然后AI开始像我一样说话。

我将此信息发送到/api/chat端点。

操作系统:Windows

GPU:Nvidia

CPU:AMD

Ollama版本:0.1.43

eqfvzcg8

eqfvzcg81#

这似乎是个特定模型的问题。我能够用llama2、dolphin-llama3和另外几个模型重复它,但是llama3、merida1l和其他一些模型可以正常工作。

11dmarpk

11dmarpk2#

我尝试将所有上下文合并到一个用户提示中,然后它可以工作。我想我也可以切换到mistral,因为它似乎效果最好。
遗憾的是llama3有点小故障,还有一些其他的功能无法使用。希望可以使用更新的功能来获得更好的响应。

相关问题