要考虑的模型。
Mamba Codestral: https://huggingface.co/mistralai/mamba-codestral-7B-v0.1
亮点:
- SOTA 7B 代码模型
- 理论上无限制上下文长度;测试最多可达256k
- 与Transformer相比,推理具有线性复杂度,与序列长度有关,而Transformer是二次复杂度。
已经支持的最近的模型。
Jamba似乎是最接近的模型,因为它是基于Mamba的:https://github.com/vllm-project/vllm/blob/main/vllm/model_executor/models/jamba.py
支持您想要的模型有什么困难吗?
Mamba是一种非Transformer架构,但已经有了一个基于Mamba的模型支持,所以不清楚支持它会有多大困难。
1条答案
按热度按时间sd2nnvve1#
cc @tlrmchlsmth who is working on it