在Ilama.ccp上已经完成了mamba模型支持的合并，是否可以将这些功能也实现到Ollama中？
合并PR: ggerganov/llama.cpp#5328
模型示例： https://huggingface.co/collections/Q-bert/mamba-65869481595e25821853d20d
在Ilama.ccp上已经完成了mamba模型支持的合并，是否可以将这些功能也实现到Ollama中？
合并PR: ggerganov/llama.cpp#5328
模型示例： https://huggingface.co/collections/Q-bert/mamba-65869481595e25821853d20d
4条答案
按热度按时间fzsnzjdm1#
是的，也在等待这个整合。
wecizke32#
第二，与RWKV(鹰)和其他快速LLMs如RetNet或H3/S4一样。
P.S. Jamba也与此相关。
oipij1gg3#
在过去的一个月里，这方面有任何进展吗？
ljo96ir54#
这里有一个基本的Mamba文件实现，可以很容易地在其周围构建一个类似OpenAI的 Package 器。
https://github.com/johnma2006/mamba-minimal
由于有一些新兴的架构似乎可以进行无令牌提取，因此扩展到这些任务可能会很有趣。