text-generation-inference 是否有可能支持Phi-3-vision-128k-instruct?

lymnna71  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(52)

功能需求

微软发布了其轻量级的多模态模型,该模型也支持图像。TGI是否有可能支持这种模型?

动机

在TGI中支持多模态,特别是接受图像作为输入的模型。

你的贡献

无。

bpzcxfmw

bpzcxfmw1#

感谢您的请求 @farzanehnakhaee70!我正在确保团队看到它。
目前,该模型使用自定义代码,并可用于 transformerstrust_remote_code=True
通常,推动模型添加到我们的工具包中的原因是社区对将该模型添加到我们的建模库中的热情。在您的消息上获得很多 👍 将表明这对很多人来说很重要:)

相关问题