langchain Chathuggingface 422错误

qlfbtfca  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(32)

检查其他资源

  • 为这个问题添加了一个非常描述性的标题。
  • 使用集成搜索在LangChain文档中进行搜索。
  • 使用GitHub搜索查找类似的问题,但没有找到。
  • 我确信这是LangChain中的一个bug,而不是我的代码。
  • 通过更新到LangChain的最新稳定版本(或特定集成包)无法解决此bug。

示例代码

from langchain_huggingface import ChatHuggingFace, HuggingFaceEndpoint

llm = HuggingFaceEndpoint(
    endpoint_url="http://10.165.9.23:9009",
    task="text-generation",
    max_new_tokens=10,
    do_sample=False,
    temperature=0.8,
)
res = llm.invoke("Hugging Face is")
print(res)
print('-------------------')

llm_engine_hf = ChatHuggingFace(llm=llm, model_id = "meta-llama/Meta-Llama-3-8B-Instruct")
res = llm_engine_hf.invoke("Hugging Face is")
print(res)

错误信息和堆栈跟踪(如有适用)

  • 无响应*

描述

在使用ChatHuggingFace与llm作为HuggingFaceEndpoint时,从huggingface-hub Inference客户端post函数获得了422错误"Unprocessable entity",当使用langchain和huggigface-hub 0.24.3的最新版本时。降级到以下版本后,我得到了可以运行的代码。
各个软件包的工作版本:
huggingface_hub==0.24.0
langchain==0.2.9
langchain-core==0.2.21
langchain-huggingface==0.0.3
langchain_community==0.2.7

系统信息

以下版本导致了问题:
langchain-community==0.0.38
langchain-core==0.2.19
langchain-huggingface==0.0.3
langchain-openai==0.1.16
huggingface_hub==0.24.3

相关问题