这可以用于LLMs,并希望用于编码器-解码器模型,如使用较小的NLLB与较大的NLLB模型相结合。
vltsax251#
这看起来像是#1234的重复。
i34xakig2#
这是一个相同的想法,但我不确定它是否指的是相同的实现?还有一种“推测性采样”,似乎指的是这个概念的另一种实现/算法。
irlmq6kh3#
使用ctranslate2实现一个非常简单的版本会有多大难度?如果可能的话,我希望能够接手这个项目。
wixjitnu4#
在现有的生成器API中,可能已经可以实现这个功能的最基本形式。你可以使用generate_batch与一个小模型,然后使用forward_batch与一个大模型来验证输出。这种方法的局限性在于,当大模型不一致时,你必须从头开始生成,而不是从第一个不匹配的位置开始。
generate_batch
forward_batch
4条答案
按热度按时间vltsax251#
这看起来像是#1234的重复。
i34xakig2#
这是一个相同的想法,但我不确定它是否指的是相同的实现?还有一种“推测性采样”,似乎指的是这个概念的另一种实现/算法。
irlmq6kh3#
使用ctranslate2实现一个非常简单的版本会有多大难度?如果可能的话,我希望能够接手这个项目。
wixjitnu4#
在现有的生成器API中,可能已经可以实现这个功能的最基本形式。你可以使用
generate_batch
与一个小模型,然后使用forward_batch
与一个大模型来验证输出。这种方法的局限性在于,当大模型不一致时,你必须从头开始生成,而不是从第一个不匹配的位置开始。