inference 启动自定义模型失败，显示"No such file or directory: '/D:/Pretrainedmodels3/ZhipuAI/chat4/glm-4-9b-chat' -> '/home/chat4/glm-4-9b-chat'",

db2dz4w8 于 7个月前发布在其他

关注(0)|答案(1)|浏览(107)

System Info / 系统信息

在Windows系统中通过Docker启动xinference时，需要将D盘模型存储位置与xinference对应的WSL存储位置/rootMap。首先在PyCharm中注册自定义模型，然后在custom-glm4-chat.json中定义模型路径。注册通过后，启动模型。如果出现报错，可能是因为WSL下的Linux路径无法与Windows的模型路径对应。

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?

docker:是的，可以使用Docker运行Xinference。
pip install:不建议使用pip install安装，因为可能会导致依赖问题。建议从源码安装。

Version info / 版本信息

xinference, version 0.13.0

The command used to start Xinference / 用以启动 xinference 的命令

在Windows系统中通过Docker启动xinference的命令如下：

docker run -e XINFERENCE_MODEL_SRC=modelscope -v D:/Pretrainedmodels3/ZhipuAI:/root -v D:/Pretrainedmodels3/ZhipuAI/.cache/huggingface:/root/.cache/huggingface -v D:/Pretrainedmodels3/ZhipuAI/.cache/modelscope:/root/.cache/modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0 --log-level debug

inference

来源：https://github.com/xorbitsai/inference/issues/1899