背景：使用HF模型，可以使用peft进行参数高效的调优，最流行的(并且据我所知性能最好的)方法是LoRa。
想法：如果能够有一个基本的HFTransformer模型(使用CT2运行)的示例(在GPU内存中),并用多个LoRa权重的示例运行，那将是非常好的。
想知道你是否认为可以在CT2中以通用的方式实现这一点，适用于所有HFTransformer模型(就像HF的peft一样)。
背景：使用HF模型，可以使用peft进行参数高效的调优，最流行的(并且据我所知性能最好的)方法是LoRa。
想法：如果能够有一个基本的HFTransformer模型(使用CT2运行)的示例(在GPU内存中),并用多个LoRa权重的示例运行，那将是非常好的。
想知道你是否认为可以在CT2中以通用的方式实现这一点，适用于所有HFTransformer模型(就像HF的peft一样)。
4条答案
按热度按时间06odsfpq1#
我们已经创建了一个脚本，用于将使用QLoRA训练的模型转换为CTranslate2,以加速推理。
b1uwtaje2#
有任何计划直接支持洛拉斯吗？在洛拉斯之间切换会很棒：)
2admgd593#
在这里也是CT2的大粉丝，改变LorA将允许以下用例：
加载编码模型(即顶部向导编码器)
在聊天界面中，我们检查消息的意图-如果它与代码生成本身无关->加载LorA并运行提示。
使用微调的编码模型用于其他目的完全破坏了它们的编码能力，而上述方法将允许为开发人员创建一个真正优秀的内部通用LLM。
knpiaxh14#
有任何计划支持Lora权重，而不需要合并吗？