提示查找解码(PLD)是一种推测性解码的变体，它用当前序列中的前缀查找替换草稿模型，从而为像总结和代码修改这样的输入-地面任务带来2-4倍的吞吐量提升。
由于PLD不需要次要模型，因此在VLLM中实现可能更容易？
有关详细信息，请参阅https://github.com/apoorvumang/prompt-lookup-decoding。
提示查找解码(PLD)是一种推测性解码的变体，它用当前序列中的前缀查找替换草稿模型，从而为像总结和代码修改这样的输入-地面任务带来2-4倍的吞吐量提升。
由于PLD不需要次要模型，因此在VLLM中实现可能更容易？
有关详细信息，请参阅https://github.com/apoorvumang/prompt-lookup-decoding。
2条答案
按热度按时间eimct9ow1#
#2188 引入了一个用于验证提案令牌的框架。一旦合并，那么添加 PLD 就不是很难了。
vaqhlq812#
你好@cadedaniel ,感谢你和vLLM团队创建了一个很棒的库。我确实看到vLLM支持推测性解码，但我找不到任何关于如何使用这个功能的文档，也没有提示-查找解码。你能给我一个简单的例子来说明如何使用这个功能吗？
#2188引入了一个用于验证提案令牌的框架。一旦合并，那么PLD就不太难添加了。