我们是否可以有一个卸载模型的CLI/API命令,从内存/VRAM中删除模型?
tvmytwxo1#
你可以通过API设置keep_alive为0来实现这个功能:
keep_alive
curl ${OLLAMA_HOST-localhost:11434}/api/generate -d '{"model":"'$MODEL'","keep_alive":0}'
mutmk8jj2#
是的,但这个命令在Windows上不起作用。如果能有ollama stop <model_name>和api/stop 端点就更简洁了。
ollama stop <model_name>
api/stop
dfddblmv3#
curl 是 Windows 的一个默认组件,自 2017 年 12 月起可用,尽管参数可能有所不同。您可以将其 Package 在一个名为 ollamastop.bat 的批处理文件中,或者编写一个 PowerShell cmdlet 并使用它,直到ollama CLI被扩展。
curl
ollamastop.bat
xmq68pz94#
是的,curl在Windows中可用,但存在参数问题。无论如何,感谢建议,我会尝试制作临时脚本,直到CLI/API可用。
4条答案
按热度按时间tvmytwxo1#
你可以通过API设置
keep_alive
为0来实现这个功能:mutmk8jj2#
是的,但这个命令在Windows上不起作用。
如果能有
ollama stop <model_name>
和
api/stop
端点就更简洁了。
dfddblmv3#
curl
是 Windows 的一个默认组件,自 2017 年 12 月起可用,尽管参数可能有所不同。您可以将其 Package 在一个名为ollamastop.bat
的批处理文件中,或者编写一个 PowerShell cmdlet 并使用它,直到ollama CLI被扩展。xmq68pz94#
是的,curl在Windows中可用,但存在参数问题。无论如何,感谢建议,我会尝试制作临时脚本,直到CLI/API可用。