DeepSpeed-MII 在MII部署中,是否有与单个模型进行通信的方法?

0lvr5msh  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(152)

例如,以稳定扩散为例,是否可以分别与CLIP、VAE和UNET进行通信?

9fkzdhlc

9fkzdhlc1#

这在当前的部署类型下是不可能的。我们计划添加一种新的部署类型,该类型不使用GRPC服务器进行模型的查询-响应。使用这种部署类型,应该可以访问模型的子组件。我将在接下来的几周内更新这个问题的进展!

相关问题