使用Ctranslate2进行上下文扩展

mfpqipee  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(42)

嘿,

我现在遇到了一个问题,想要为Llama-2模型启用绳索缩放功能。这个功能支持吗?我阅读了文档,但关于如何实现这一点的指导不够。

如果有人能提供帮助,将不胜感激。谢谢。

bzzcjhmw

bzzcjhmw1#

请阅读以下链接:
https://github.com/OpenNMT/CTranslate2/blob/master/python/ctranslate2/converters/transformers.py#L1281-L1322

相关问题