Flowise [BUG] 对话代理示例,但使用ChatHuggingface失败

hmae6n7t  于 6个月前  发布在  其他
关注(0)|答案(6)|浏览(64)

描述错误

当前的Marketplace对话代理是基于ChatOpenAI构建的。尝试用ChatHuggingface替换该组件,并利用托管的HF模型"microsoft/DialoGPT-large"。但是链失败了,消息为:

The following model_kwargs are not used by the model: ['return_full_text'] 
(note: typos in the generate arguments will also show up in this list)

重现

  1. 转到'Marketplace - 对话代理'
  2. 将组件"ChatOpenAI"替换为"ChatHuggingface"
  3. 指定一个HF聊天模型
  4. 在消息窗口中运行链

预期行为

来自HF模型的响应

设置

  • 安装:渲染
  • Flowise版本:1.3.4
  • OS:Linux
  • 浏览器:Chrome
    附加上下文

在其他链示例(例如检索链)中使用"ChatHuggingface"也导致了类似的错误。

tyky79it

tyky79it1#

你好,@predoctech。
我使用纯LangChain JS测试了模型,也遇到了你描述的错误。
LLM run errored with error: "The following 'model_kwargs' are not used by the model: ['return_full_text'] (note: typos in the generate arguments will also show up in this list)"

//Model
    const model = new HuggingFaceInference({
        model: 'microsoft/DialoGPT-medium',
        apiKey: process.env.HUGGINGFACEHUB_API_KEY
    })

    //Tools
    const tools = [
        new SerpAPI(process.env.SERPAPI_API_KEY, {
            location: 'Austin,Texas,United States',
            hl: 'en',
            gl: 'us',
        }),
        new Calculator(),
    ]

    //Agent
    const executor = await initializeAgentExecutorWithOptions(tools, model, {
        agentType: 'chat-conversational-react-description',
        verbose: true,
    })

    return await executor.call({ input: question })

参考:
LangChain JS Conversational
LangChain JS HuggingFaceInference
LangChainJS 开放问题:
langchain-ai/langchainjs#2177

66bbxpm5

66bbxpm52#

要解决这个问题,需要扩展hugginface类并为用户添加一个新的JSON字段以添加新的/自定义模型参数。

vzgqcmou

vzgqcmou3#

我只想补充一点,当我用HF Inference LLM组件测试时,相同的错误会显示在相同的基础模型上。我想这都与@HenryHengZJ提到的相同的huggingface基类有关,因此对ChatHF和HF Inference的更改将平等地应用。

oewdyzsn

oewdyzsn4#

你找到这个问题的解决方案了吗?

gkn4icbw

gkn4icbw5#

我正在面临相同的问题。Hugging face模型与对话代理不兼容。这使得Flowise的行为非常类似于Langflow,即依赖于Open AI。

pepwfjgg

pepwfjgg6#

我正在使用LocalChatAI模型和对话代理遇到相同的问题,但它在LLM Chain上运行正常。有人有解决方案吗?
我使用的是llama-2-7b-chat.ggmlv3.q4_0.bin,16GB RAM和4个CPU。
收到rpc错误:code = Unknown,desc = 推理失败。

相关问题