你好，团队。
我在mii部署上的查询中遇到了更改批处理大小的困难。例如，如果我发送批处理大小为1,我可以得到一张图片，但是如果我将批处理大小更改为4或其他任何数字，我就会得到以下异常：Exception calling application: output with shape [1, 77] doesn't match the broadcast shape [4, 77]
在使用稳定扩散模型时，我在更改参数值(如宽度、高度和批处理大小)时也会遇到类似的异常。在直接使用deepspeed的情况下，我在更改参数时会遇到这个异常：The size of tensor a (4) must match the size of tensor b (2) at non-singleton dimension 0
由于无法快速更改参数，我无法将其部署到实际场景中，因为我必须为这些参数使用各种值。
寻求解决此问题的方法。
3条答案
按热度按时间pw9qyyiw1#
我相信你在改变批处理大小时遇到了这个问题，因为稳定扩散在MII部署中使用了CUDA图形(参见DeepSpeed-MII/mii/models/load_models.py中的第75行4040dae | | inf_config["enable_cuda_graph"] =True |)。DeepSpeed-inference只对模型进行一次图捕获，使用最初提供的批处理大小。因此，改变批处理大小将导致您看到的错误。我们正在努力解决一个问题，即允许为不同的批处理大小捕获多个图重播。
nkkqxpd92#
明白了，谢谢@mrwyattii。我什么时候可以期待解决方案上线？
muk1a3rh3#
@cmikeh2 已经在一段时间前开始着手这个项目：microsoft/DeepSpeed#2458
我会继续努力，争取在下周某个时候将其合并！