inference QUESTION 如何在容器启动时自动加载指定模型

qgelzfjb  于 8个月前  发布在  其他
关注(0)|答案(1)|浏览(68)

容器启动后会拉起服务但是不会加载上次的模型
如何自动在容器启动后加载指定模型?

dl5txlt9

dl5txlt91#

我编写了以下脚本:

nohup xinference-local -H 0.0.0.0 --port 9997 --log-level DEBUG &
sleep 10
xinference launch --model-name Qwen2-7B-Chat --model-format pytorch --model-engine Transformers
docker启动时执行此脚本,但容器会频繁重启,查看docker日志没有出现错误。模型显示也加载成功,但前端页面没有任何显示。

相关问题