问题描述：在xinference中已经启动了qwen-vl-chat模型，然后将DEFAULT_LLM_MODEL改为qwen-vl-chat,在webui的模型配置中也能够选择qwen-vl-chat,但是后台有提示信息“default llm model qwen-vl-chat is not found in available llms, using glm4-chat instead”。
复现问题的步骤：
- 在xinference中启动qwen-vl-chat模型
- 修改DEFAULT_LLM_MODEL改为qwen-vl-chat
- 启动chachat
- 在webui的模型配置中选择qwen-vl-chat
- 报错“default llm model qwen-vl-chat is not found in available llms, using glm4-chat instead”
预期结果：能够调用qwen-vl-chat
实际结果：不能调用qwen-vl-chat
环境信息：
- langchain-ChatGLM 版本/commit 号：v0.3
- 是否使用 Docker 部署(是/否):否
- 使用的模型(ChatGLM2-6B / Qwen-7B 等):qwen-vl-chat
- 使用的 Embedding 模型(moka-ai/m3e-base 等):bge-large-zh-v1.5
- 使用的向量库类型 (faiss / milvus / pg_vector 等): faiss
- 操作系统及版本 / Operating system and version: windows11
- Python 版本 / Python version: 3.10.14
- 其他相关环境信息 / Other relevant environment information:
附加信息 / Additional Information
5条答案
按热度按时间vq8itlhq1#
我也发现了这个问题，导致在对话的时候一直去找ollam平台！实际上qwen-vl是正常支持文本对话的。
2o7dmzc52#
qwen-vl-chat 与普通的 LLM 有区别，不能用于 DEFAULT_LLM_MODEL。
你只需要将其填入 model_settings.yaml 文件中对应平台的 image2text_models,然后在 Webui 中选择它即可。
pinkon5k3#
qwen-vl-chat 与普通的 LLM 有区别，不能用于 DEFAULT_LLM_MODEL。你只需要把它填入 model_settings.yaml 里对应平台的 image2text_models,然后在 Webui 中选择它即可。
在 Webui 中选择 xinference 和 qwen-vl-chat 模型，点击 OK 之后不上传图片，直接在对话框中输入问题，xinference 中有报错，对话失败：
在 Webui 中上传一张图片后，再在对话框中输入问题，就能够正常对话了。但是在 xinference 的 UI 界面，不上传图片，直接开始对话也是没有问题的。
fd3cxomn4#
qwen-vl-chat 与普通的 LLM 有区别，不能用于 DEFAULT_LLM_MODEL。你只需要把它填入 model_settings.yaml 里对应平台的 image2text_models,然后在 Webui 中选择它即可。
按上述方法配置了之后，没有最开始的报错了，但是选择 qwen-vl-chat 进行问话的时候图片显示不出来，后台有报错。
mrzz3bfm5#
在源码中，
get_config_models方法的传参是model_type="llm",而qwen-vl-chat的model_type是image2text_models,所以没有获取到qwen-vl-chat,不知道是不是这个原因。