ollama 需要状态端点,

ct2axkht  于 1个月前  发布在  其他
关注(0)|答案(1)|浏览(22)

你好!
我发现API中有一个非紧急问题,当与来自网络或远程服务器的模型一起工作时,这会使用户体验变得更差,因为我们无法查看当前的状态:模型是否正在下载?下载模型失败了吗?它正在进行推理吗?使用了多大的RAM/VRAM?此外,由于缺乏这样的状态端点,如果在拉取过程中连接中断,不清楚应该如何处理 - 如何检查拉取操作的状态?
由于缺少这个端点,导致我在目前见过的大多数项目中出现了奇怪的UI。

9nvpjoqh

9nvpjoqh1#

我同意,至少应该有一个端点提供与:
ollama ps相同的信息。

相关问题