这看起来像是#1234的重复。

这是一个相同的想法，但我不确定它是否指的是相同的实现？还有一种“推测性采样”，似乎指的是这个概念的另一种实现/算法。

使用ctranslate2实现一个非常简单的版本会有多大难度？如果可能的话，我希望能够接手这个项目。

在现有的生成器API中，可能已经可以实现这个功能的最基本形式。你可以使用generate_batch与一个小模型，然后使用forward_batch与一个大模型来验证输出。这种方法的局限性在于，当大模型不一致时，你必须从头开始生成，而不是从第一个不匹配的位置开始。