有人成功转换过位于这里的模型吗？
我还没有。我甚至尝试将 consolidated.safetensors 文件重命名为 model.safetensors 以确保安全，但没有成功。我在想，尽管架构是 Mistral,但 Ctranslate2 没有考虑到某种细微差别。我注意到 HF 仓库表明只有 Transformers 的开发版本支持它，而不是最新的 PyPi 发布版本，所以......这增加了我的假设的可信度，但我不是Maven。
谢谢！
有人成功转换过位于这里的模型吗？
我还没有。我甚至尝试将 consolidated.safetensors 文件重命名为 model.safetensors 以确保安全，但没有成功。我在想，尽管架构是 Mistral,但 Ctranslate2 没有考虑到某种细微差别。我注意到 HF 仓库表明只有 Transformers 的开发版本支持它，而不是最新的 PyPi 发布版本，所以......这增加了我的假设的可信度，但我不是Maven。
谢谢！
6条答案
按热度按时间kq4fsx7k1#
唯一的区别是头维(head_dim)为128,而不是隐藏维(hidden dim)。
ffdz8vbo2#
$x = \frac{1}{2} (x + 3) \times 5$
$x = \frac{5}{2} x + \frac{15}{2}$
$\frac{5}{2} x-\frac{15}{2}=0$
$x=3$
hof1towb3#
huggingface/transformers#32050
kdfy810k4#
首先需要等待变形金刚的发布。我使用变形金刚开发版测试了ct2转换器，它成功完成了，但由于一些更改(例如@vince62s提到的
head_dim),我不确定它是否运行良好。wtzytmuj5#
实际上应该是没问题的。
https://github.com/OpenNMT/CTranslate2/blob/master/python/ctranslate2/converters/transformers.py#L1329
waxmsbnn6#
实际上应该是没问题的，详见：https://github.com/OpenNMT/CTranslate2/blob/master/python/ctranslate2/converters/transformers.py#L1329
不确定