这可能是有趣的:https://arxiv.org/pdf/2402.11131.pdf
8oomwypt1#
在并行验证之前进行平行树修剪以检查接受的令牌,内存使用量可以比medusa小得多。@simon-mo 你想看到这个功能被实现吗?
1条答案
按热度按时间8oomwypt1#
在并行验证之前进行平行树修剪以检查接受的令牌,内存使用量可以比medusa小得多。@simon-mo 你想看到这个功能被实现吗?