系统信息 / 系统信息

官方xinference,版本0.13.2的镜像，transformers版本：4.42.4

是否使用Docker运行Xinference? / 是否使用Docker运行Xinference?

• docker / docker
• pip install / 通过pip install安装
• installation from source / 从源码安装

版本信息 / 版本信息

xinference,版本0.13.2

用以启动xinference的命令 / 用以启动xinference的命令

sudo docker run
--name qwen-vl
-d
-v /home/robot/data/workplase:/home/robot/devs
-p 6263:6263
-p 1381:22
--gpus all
my_cuda_ssh

复现过程 / 复现过程

注册custom模型为qwen-vl
使用transformer模式推理并开启双卡模式，具体启动配置如下：

这时可以正常运行推理，但是开启steam模式就报错了。报错信息如下：

期待表现 / 期待表现

希望后续版本可以添加qwen-vl模型的steam模式