vllm [新模型]:Cogagent

8mmmxcuj  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(69)

要考虑的模型

https://huggingface.co/THUDM/CogAgent

已经支持的最近的模型vllm。

  • 无响应*

支持您想要的模型的困难是什么?

视觉模型

bq8i3lrv

bq8i3lrv1#

需要等待/帮助#4888#4942的实现。也许还有更多的事情要做。

cedebl8k

cedebl8k2#

需要等待/帮助解决 #4888#4942 的问题,才能实现这个功能。甚至可能还有更多的内容。
快速更新:
#4888 已发布,使得 xFormers 后端支持编码器注意力、解码器自注意力和解码器跨注意力。#4837#4888(两者都已发布)是 #4942 的先决条件。#4942 使用 xFormers 后端实现了端到端的编码器/解码器模型支持,并将 BART 模型引入 vLLM。#4942 仍在开发中,但希望尽快完成。
@robertgshaw2-neuralmagic

相关问题