ragflow [Bug]: 调用Ollama无法保持活跃状态

ux6nzvsh 于 3个月前发布在其他

关注(0)|答案(1)|浏览(27)

0.6.0

2080 Ti
WSL2 on Windows 11
Docker

调用Ollama LLM服务，每次聊天时GPU内存都会加载和卸载

Ollama支持在调用参数中设置keep_alive,任何负数都可以设置
使用keep_alive参数与/api/generate和/api/chat API端点一起使用，以控制模型在内存中停留的时间。'0'将在生成响应后立即卸载模型

Config Ollama serve LLM
use ragflow to chat

1条答案

我已经使用以下方法解决了这个问题
在终端中运行以下命令：

OLLAMA_HOST=0.0.0.0:11435 ollama pull mistral:latest
在另一个终端示例中运行以下命令：
OLLAMA_HOST=0.0.0.0:11435 ollama serve
如果出现错误，先运行第二个命令，然后再运行第一个命令。
之后，你需要在WSL中的Linux上获取inet地址。在终端中输入'ipconfig'并获取inet地址。将此地址输入到Ollama模型附加面板中。你可以从下面的截图中理解。