Mistral刚刚发布了新的7B编码模型。
似乎表现得非常好，尤其是对于一个7B模型：
对#7727的一个扩展？
mum43rcc1#
我喜欢在链接的博客文章中提到的这一点！您可以使用 mistral-inference SDK 部署 Codestral Mamba,该 SDK 依赖于来自 Mamba GitHub 存储库的参考实现。模型还可以通过 TensorRT-LLM 进行部署。对于本地推理，请关注 llama.cpp 中的支持。您可以从 HuggingFace 下载原始权重。这是一个非常不错的认可——很高兴看到它！
8mmmxcuj2#
#7727 应该为这个模型提供覆盖，但与其他 Mamba2 模型不同的是，它具有未绑定的嵌入。
9bfwbjaz3#
请参阅以下内容，其中有一个名为“ngroups”的参数，它会影响层归一化的操作方式：https://github.com/state-spaces/mamba/blob/c0a00bd1808881831ddf43206c69362d4df90cf7/mamba_ssm/modules/mamba2.py#L47我们使用的是ngroups=8。如果你忘记了或者尝试使用ngroups=1,你可能会遇到问题。祝你好运！
dsekswqp4#
在我们合并#8526之后，我们应该尝试为这个模型添加全面的支持。cc @compilade
4ngedf3f5#
我很喜欢这个。
gev0vcfq6#
谢谢！
6条答案
按热度按时间mum43rcc1#
我喜欢在链接的博客文章中提到的这一点！
您可以使用 mistral-inference SDK 部署 Codestral Mamba,该 SDK 依赖于来自 Mamba GitHub 存储库的参考实现。模型还可以通过 TensorRT-LLM 进行部署。对于本地推理，请关注 llama.cpp 中的支持。您可以从 HuggingFace 下载原始权重。
这是一个非常不错的认可——很高兴看到它！
8mmmxcuj2#
#7727 应该为这个模型提供覆盖，但与其他 Mamba2 模型不同的是，它具有未绑定的嵌入。
9bfwbjaz3#
请参阅以下内容，其中有一个名为“ngroups”的参数，它会影响层归一化的操作方式：https://github.com/state-spaces/mamba/blob/c0a00bd1808881831ddf43206c69362d4df90cf7/mamba_ssm/modules/mamba2.py#L47
我们使用的是ngroups=8。如果你忘记了或者尝试使用ngroups=1,你可能会遇到问题。
祝你好运！
dsekswqp4#
在我们合并#8526之后，我们应该尝试为这个模型添加全面的支持。cc @compilade
4ngedf3f5#
我很喜欢这个。
gev0vcfq6#
谢谢！