Langchain-Chatchat 无法在xinference中找到自定义的模型,并且提问出错,

xiozqbni  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(39)

问题描述:无法找到xinference中自定义的模型,并且提问出错。

复现问题的步骤:

  1. 执行 'xinference-local --host 0.0.0.0 --port 9997' 启动 xinference,注册了 bge-large-zh-lacalglm4-local 两个模型,并将两个模型启动。
  2. 执行 'chatchat init' ,修改了两个配置文件:basic_settings.yaml 和 model_settings.yaml。
    3、执行 chatchat start -r,并提问。

预期的结果:有正常回答。

实际结果:执行 chatchat start -r 后,在web界面提问时报错。

b5buobof

b5buobof1#

你xinference 中bge-large-zh-lacal 和 glm4-local 两个模型有沒有set到uid

相关问题