ollama 卸载模型命令

vm0i2vca  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(39)

我们是否可以有一个卸载模型的CLI/API命令,从内存/VRAM中删除模型?

tvmytwxo

tvmytwxo1#

你可以通过API设置keep_alive为0来实现这个功能:

curl ${OLLAMA_HOST-localhost:11434}/api/generate -d '{"model":"'$MODEL'","keep_alive":0}'
mutmk8jj

mutmk8jj2#

是的,但这个命令在Windows上不起作用。
如果能有
ollama stop <model_name>

api/stop 端点
就更简洁了。

dfddblmv

dfddblmv3#

curl 是 Windows 的一个默认组件,自 2017 年 12 月起可用,尽管参数可能有所不同。您可以将其 Package 在一个名为 ollamastop.bat 的批处理文件中,或者编写一个 PowerShell cmdlet 并使用它,直到ollama CLI被扩展。

xmq68pz9

xmq68pz94#

是的,curl在Windows中可用,但存在参数问题。无论如何,感谢建议,我会尝试制作临时脚本,直到CLI/API可用。

相关问题