GPTCache [Bug]: AzureChatOpenAI使用langchain时出现错误 - [ONNXRuntimeError] :2: INVALID_ARGUMENT:输入的token_type_ids维度无效，对于以下索引index:1,得到值为1772,期望值为512,请修复输入或模型,

3zwjbxry 于 2个月前发布在其他

关注(0)|答案(3)|浏览(43)

当前行为
当我使用Langchain的AzureChatOpenAI时，遇到了这个错误。我尝试实现langchain页面中提到的GPT相似度缓存 - https://python.langchain.com/docs/integrations/llms/llm_caching ,但是遇到了以下错误。请修复下面的错误。
LangChain版本：0.0.304
openai版本：0.28.1
gptcache版本：0.1.42
[ONNXRuntimeError] : 2 : INVALID_ARGUMENT : Got invalid dimensions for input: token_type_ids for the following indices index: 1 Got: 1772 Expected: 512 Please fix either the inputs or the model.

预期行为
错误不应该存在

重现步骤

无响应*

环境

无响应*

其他事项？

无响应*

GPTCache

来源：https://github.com/zilliztech/GPTCache/issues/547

3条答案

按热度按时间

gk7wooem1#

你可以尝试清理缓存目录。
在使用缓存时，请保持相同的嵌入方式。如果你更改了嵌入方法，你需要删除之前的缓存目录。

赞(0）回复(0）举报 2个月前

bfnvny8b2#

你好，@SimFG ,我已经多次删除缓存，但没有帮助。
关于嵌入，我正在使用以下代码，我需要在这里做一些修改吗？我已经为我的pdf和word文件创建了顶点AI嵌入，维度为786,并将其存储在匹配引擎/向量存储中。
我尝试了以下代码(来自Langchain官方网站- https://python.langchain.com/docs/integrations/llms/llm_caching)

from gptcache import Cache
from gptcache.adapter.api import init_similar_cache
from langchain.cache import GPTCache
import hashlib

def get_hashed_name(name):
    return hashlib.sha256(name.encode()).hexdigest()

def init_gptcache(cache_obj: Cache, llm: str):
    hashed_llm = get_hashed_name(llm)
    init_similar_cache(cache_obj=cache_obj, data_dir=f"similar_cache_{hashed_llm}")

langchain.llm_cache = GPTCache(init_gptcache)

赞(0）回复(0）举报 2个月前

ryhaxcpt3#

你需要确认这个1772维向量是从哪里来的。

赞(0）回复(0）举报 2个月前