System Info / 系統信息
xinference, version 0.12.2.post1
CUDA Version: 12.4
Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？
- docker / docker
- pip install / 通过 pip install 安装
- installation from source / 从源码安装
Version info / 版本信息
0.12.2.post1
The command used to start Xinference / 用以启动 xinference 的命令
source venv_xinference/bin/activate
XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997
Reproduction / 复现过程
- 启动inference
- launch embedding model bge-large-en-v1.5 and llm model mistral-instruct-v0.2
- 多个人本地启动自己的chatchat, 使用chatchat的过程中会反复调用embedding API, 一直是可以正常工作的
- 过一段时间后，基本过一天再访问embdding模型就会报错如下，UI上看embbding模型还是正常的
curl http://0.0.0.0:9997/v1/embeddings -H "Content-Type: application/json" -d '{
"input": "测试ebmeddings",
"model": "bge-large-en-v1.5"
}'
{"detail":"[address=0.0.0.0:37167, pid=193948] [Errno 5] Input/output error"}(venv_xinference) - 重启xinference, 重新launch embedding model bge-large-en-v1.5 and llm model mistral-instruct-v0.2，又可以正常访问embedding API了
Expected behavior / 期待表现
要怎么解决这个一段时间后embedding API访问异常的问题？
2条答案
按热度按时间nsc4cvqm1#
请查看以下链接是否能帮助您：https://stackoverflow.com/questions/52376942/python-ioerror-errno-5-input-output-error
mwecs4sa2#
请查看以下链接是否有所帮助：https://stackoverflow.com/questions/52376942/python-ioerror-errno-5-input-output-error
感谢，通过使用命令
nohup xinference-local --host 0.0.0.0 --port 9997 > nohup.out 2>&1 &而不是原始的xinference-local --host 0.0.0.0 --port 9997 &解决了问题。