描述错误
当前的Marketplace对话代理是基于ChatOpenAI构建的。尝试用ChatHuggingface替换该组件,并利用托管的HF模型"microsoft/DialoGPT-large"。但是链失败了,消息为:
The following model_kwargs are not used by the model: ['return_full_text']
(note: typos in the generate arguments will also show up in this list)
重现
- 转到'Marketplace - 对话代理'
- 将组件"ChatOpenAI"替换为"ChatHuggingface"
- 指定一个HF聊天模型
- 在消息窗口中运行链
预期行为
来自HF模型的响应
设置
- 安装:渲染
- Flowise版本:1.3.4
- OS:Linux
- 浏览器:Chrome
附加上下文
在其他链示例(例如检索链)中使用"ChatHuggingface"也导致了类似的错误。
6条答案
按热度按时间tyky79it1#
你好,@predoctech。
我使用纯LangChain JS测试了模型,也遇到了你描述的错误。
LLM run errored with error: "The following 'model_kwargs' are not used by the model: ['return_full_text'] (note: typos in the generate arguments will also show up in this list)"
参考:
LangChain JS Conversational
LangChain JS HuggingFaceInference
LangChainJS 开放问题:
langchain-ai/langchainjs#2177
66bbxpm52#
要解决这个问题,需要扩展hugginface类并为用户添加一个新的JSON字段以添加新的/自定义模型参数。
vzgqcmou3#
我只想补充一点,当我用HF Inference LLM组件测试时,相同的错误会显示在相同的基础模型上。我想这都与@HenryHengZJ提到的相同的huggingface基类有关,因此对ChatHF和HF Inference的更改将平等地应用。
oewdyzsn4#
你找到这个问题的解决方案了吗?
gkn4icbw5#
我正在面临相同的问题。Hugging face模型与对话代理不兼容。这使得Flowise的行为非常类似于Langflow,即依赖于Open AI。
pepwfjgg6#
我正在使用LocalChatAI模型和对话代理遇到相同的问题,但它在LLM Chain上运行正常。有人有解决方案吗?
我使用的是llama-2-7b-chat.ggmlv3.q4_0.bin,16GB RAM和4个CPU。
收到rpc错误:code = Unknown,desc = 推理失败。