目前奥拉玛正在支持LLaVA,这非常棒。我想知道是否有机会加载其他类似的模型，比如CogVLM?
dphi5xsq1#
到目前为止，通过Llama.cpp支持Ollama的路径。看起来CogVLM在那里并没有真正获得动力。那个对它感兴趣的开发人员也说他们已经有很多事情要做了。再加上听起来可能需要很多工作。
zphenhs42#
尝试https://github.com/jhc13/taggui,如果你在寻找一个简单的工具(我可以使用4位加载12GB VRAM的CogVLM v1)。
xqkwcwgp3#
CogVLM2: https://github.com/THUDM/CogVLM2int4 version: https://huggingface.co/THUDM/cogvlm2-llama3-chat-19B-int4支持的版本： https://github.com/jhc13/taggui
ecr0jaav4#
在这一点上，通过Llama.cpp支持Ollama的路径。尽管我不太明白为什么它必须是这样，如果它没有在llama.cpp中得到支持。CogVLM2可以在Python中运行，而且提到的taggui工具已经可以工作了。难道Ollama中有什么基本的东西使得它很难通过Python绑定加载，并且暂时放弃llama.cpp吗？
gkn4icbw5#
我不像以前那样密切关注这个项目，但据我所知，Ollama没有通过Python绑定加载任何内容，并放弃了llama.cpp。
twh00eeo6#
但是有什么阻止我们这样做呢？
qhhrdooz7#
谁是“我们”？Ollama维护者最终决定项目要做什么。我认为目前为止，他们除了llama.cpp之外，没有支持任何后端。此外，我最后一次查看时，他们对接受的社区贡献类型非常保守。当然，还有一种选择就是分叉该项目。
7条答案
按热度按时间dphi5xsq1#
到目前为止，通过Llama.cpp支持Ollama的路径。看起来CogVLM在那里并没有真正获得动力。那个对它感兴趣的开发人员也说他们已经有很多事情要做了。再加上听起来可能需要很多工作。
zphenhs42#
尝试https://github.com/jhc13/taggui,如果你在寻找一个简单的工具(我可以使用4位加载12GB VRAM的CogVLM v1)。
xqkwcwgp3#
CogVLM2: https://github.com/THUDM/CogVLM2
int4 version: https://huggingface.co/THUDM/cogvlm2-llama3-chat-19B-int4
支持的版本： https://github.com/jhc13/taggui
ecr0jaav4#
在这一点上，通过Llama.cpp支持Ollama的路径。
尽管我不太明白为什么它必须是这样，如果它没有在llama.cpp中得到支持。CogVLM2可以在Python中运行，而且提到的taggui工具已经可以工作了。难道Ollama中有什么基本的东西使得它很难通过Python绑定加载，并且暂时放弃llama.cpp吗？
gkn4icbw5#
我不像以前那样密切关注这个项目，但据我所知，Ollama没有通过Python绑定加载任何内容，并放弃了llama.cpp。
twh00eeo6#
但是有什么阻止我们这样做呢？
qhhrdooz7#
谁是“我们”？
Ollama维护者最终决定项目要做什么。我认为目前为止，他们除了llama.cpp之外，没有支持任何后端。此外，我最后一次查看时，他们对接受的社区贡献类型非常保守。当然，还有一种选择就是分叉该项目。