你想要做什么呢?
我想对ollama服务器有更多的控制。目前,ollama命令行没有提供一种方便的方法来在服务器运行时停止它或获取服务器状态。拥有一种获取内存、运行时间、GPU和CPU统计信息的方法也是加分项。
我们应该如何解决这个问题呢?
我建议在serve
命令中添加新的命令或标志;以下是一些示例,但我关心的是功能,而不是特定的语法(选项标志与命令):
ollama serve --status
- 打印服务器状态(运行/未运行)以及可能加载的模型和API URLollama serve --stop
- 如果服务器正在运行,则停止服务器ollama stop
-ollama serve --stop
的别名ollama unload
- 从内存中卸载模型,但保持服务器运行ollama stats
- 显示服务器内存、运行时间和其他统计信息(例如,连接的客户端数量(最大值,当前值))
如果不解决这个问题会有什么影响呢?
这将使普通家庭用户仍然难以控制ollama服务器进程并确定其使用的资源。
还有其他需要考虑的吗?
这似乎是一个与#3182几乎相同的问题。
8条答案
按热度按时间vvppvyoh1#
需要同样的支持!
vwhgwdsa2#
我想要解决这个问题。如果你把它分配给我,我会参考helm dashboard来实现这个功能。
w6lpcovy3#
希望添加这个功能。
谢谢。
6qftjkof4#
一个图形用户界面(GUI)会更好
zmeyuzjn5#
same
gijlo24d6#
关于这个问题的更新情况如何?已经持续了3个月。合理地期望服务器能够在不使用
pkill
命令的情况下停止运行。对于这个项目来说,能够实现
ollama serve --stop
功能应该是首要任务。ie3xauqp7#
关于这个问题的更新?这个问题已经开放了3个月。合理地期望服务器能够在不使用
pkill
命令的情况下停止,能够使用
ollama serve --stop
应该是这个项目的最高优先事项。我刚刚切换到直接使用llama.cpp(llama基本上只是llama.cpp的 Package 器)。只需要按CTRL-C即可。
gcuhipw98#
哦,谢谢你,@oldmanjk。我一直在阅读关于llama.cpp的内容,听起来比目前使用ollama的方法要简单得多来停止服务器。谢谢你!