容器启动后会拉起服务但是不会加载上次的模型如何自动在容器启动后加载指定模型?
dl5txlt91#
我编写了以下脚本:
nohup xinference-local -H 0.0.0.0 --port 9997 --log-level DEBUG & sleep 10 xinference launch --model-name Qwen2-7B-Chat --model-format pytorch --model-engine Transformers docker启动时执行此脚本,但容器会频繁重启,查看docker日志没有出现错误。模型显示也加载成功,但前端页面没有任何显示。
1条答案
按热度按时间dl5txlt91#
我编写了以下脚本: