ollama "server stop" 和 "server status" 命令

ngynwnxp  于 2个月前  发布在  其他
关注(0)|答案(8)|浏览(30)

你想要做什么呢?
我想对ollama服务器有更多的控制。目前,ollama命令行没有提供一种方便的方法来在服务器运行时停止它或获取服务器状态。拥有一种获取内存、运行时间、GPU和CPU统计信息的方法也是加分项。
我们应该如何解决这个问题呢?
我建议在serve命令中添加新的命令或标志;以下是一些示例,但我关心的是功能,而不是特定的语法(选项标志与命令):

  • ollama serve --status - 打印服务器状态(运行/未运行)以及可能加载的模型和API URL
  • ollama serve --stop - 如果服务器正在运行,则停止服务器
  • ollama stop - ollama serve --stop的别名
  • ollama unload - 从内存中卸载模型,但保持服务器运行
  • ollama stats - 显示服务器内存、运行时间和其他统计信息(例如,连接的客户端数量(最大值,当前值))

如果不解决这个问题会有什么影响呢?
这将使普通家庭用户仍然难以控制ollama服务器进程并确定其使用的资源。
还有其他需要考虑的吗?
这似乎是一个与#3182几乎相同的问题。

vvppvyoh

vvppvyoh1#

需要同样的支持!

vwhgwdsa

vwhgwdsa2#

我想要解决这个问题。如果你把它分配给我,我会参考helm dashboard来实现这个功能。

w6lpcovy

w6lpcovy3#

希望添加这个功能。
谢谢。

6qftjkof

6qftjkof4#

一个图形用户界面(GUI)会更好

gijlo24d

gijlo24d6#

关于这个问题的更新情况如何?已经持续了3个月。合理地期望服务器能够在不使用pkill命令的情况下停止运行。
对于这个项目来说,能够实现ollama serve --stop功能应该是首要任务。

ie3xauqp

ie3xauqp7#

关于这个问题的更新?这个问题已经开放了3个月。合理地期望服务器能够在不使用pkill命令的情况下停止,
能够使用ollama serve --stop应该是这个项目的最高优先事项。
我刚刚切换到直接使用llama.cpp(llama基本上只是llama.cpp的 Package 器)。只需要按CTRL-C即可。

gcuhipw9

gcuhipw98#

哦,谢谢你,@oldmanjk。我一直在阅读关于llama.cpp的内容,听起来比目前使用ollama的方法要简单得多来停止服务器。谢谢你!

相关问题