要考虑的模型。

Mamba Codestral: https://huggingface.co/mistralai/mamba-codestral-7B-v0.1
亮点：

• SOTA 7B 代码模型
• 理论上无限制上下文长度；测试最多可达256k
• 与Transformer相比，推理具有线性复杂度，与序列长度有关，而Transformer是二次复杂度。

已经支持的最近的模型。

Jamba似乎是最接近的模型，因为它是基于Mamba的：https://github.com/vllm-project/vllm/blob/main/vllm/model_executor/models/jamba.py

支持您想要的模型有什么困难吗？

Mamba是一种非Transformer架构，但已经有了一个基于Mamba的模型支持，所以不清楚支持它会有多大困难。