vllm [Feature]: vAttention

iklwldmw  于 3个月前  发布在  其他
关注(0)|答案(3)|浏览(34)

🚀 该功能、动机和宣传

声称在vllm方面有重大改进。不幸的是,没有代码,只有论文。
arxiv.org/abs/2405.04437

替代方案

  • 无响应*

其他上下文

  • 无响应*
rsl1atfo

rsl1atfo1#

你好,我是这篇论文的作者之一。感谢你对我们的工作感兴趣!我们计划很快发布代码,希望在几周内。

sbtkgmzw

sbtkgmzw2#

@ramyaprabhu-alt 我只是好奇代码发布是否会是一个单独的项目,还是针对vLLM的PR?我认为这是一个PR,对吗?

yyyllmsg

yyyllmsg3#

我们的初步发布将作为vLLM的较旧版本上的单独项目。但不久之后,我们也可以针对vLLM-latest发起PR。

相关问题