你想做什么？
我刚接触到ollama(包括llama.cpp,当然),所以我的问题可能有点傻。
我的用例是在同一个服务上同时提供CLIP和LLaVA(它结合了clip和mistral)。
LLaVA可以在ollama上完美运行。但我需要为CLIP打开另一个服务。
我想问的是：
- ollama是否支持CLIP嵌入接口？当前的嵌入接口似乎只支持文本。
- 由于在运行在ollama上的LLaVA中包含冻结的CLIP,它可以直接重用，而不是在内存中加载两个副本吗？
我们应该如何解决这个问题？
- 无响应*
不解决这个问题会有什么影响？
- 无响应*
还有其他问题吗？
- 无响应*
1条答案
按热度按时间brqmpdu11#
你好@Andiedie
LLava内部使用CLIP来理解图像，但您不能直接在LLava中询问CLIP问题。
目前没有办法独立于LLava使用CLIP。
以下是一些选项：
您可以尝试从Hugging face的CLIP代码构建一个新的Ollama模型。或者有人可能已经完成了这个工作并发布了它。