Description
当模型调用工具时，有时会返回预期的响应，但有时会返回上述错误。
<|start_header_id|> 重复多次，耗时很长。我必须等待响应、检查并重新运行过程以获得正确的响应。
正常涉及提示和解析的链的成功率很低。好在 LangChain 有重试机制，所以我不必太担心，但它仍然需要花费很多时间。
我从昨天开始遇到这个问题。比之前快多了。
我昨天更新了 langchain、langgraph、langsmith 和 langchain_groq 到最新版本。我认为这导致了问题。
System Info
aiohttp==3.9.5
aiosignal==1.3.1
alembic==1.13.1
annotated-types==0.6.0
anthropic==0.28.1
anyio==4.3.0
appdirs==1.4.4
asgiref==3.8.1
asttokens==2.4.1
async-timeout==4.0.3
attrs==23.2.0
Babel==2.15.0
backoff==2.2.1
bcrypt==4.1.3
beautifulsoup4==4.12.3
blinker==1.8.2
boto3==1.34.127
botocore==1.34.127
Brotli==1.1.0
bs4==0.0.2
build==1.2.1
cachetools==5.3.3
catalogue==2.0.10
certifi==2024.2.2
cffi==1.16.0
charset-normalizer==3.3.2
chroma-hnswlib==0.7.3
chromadb==0.4.24
click==8.1.7
coloredlogs==15.0.1
comm==0.2.2
courlan==1.1.0
crewai==0.28.8
crewai-tools==0.2.3
cryptography==42.0.6
dataclasses-json==0.6.5
dateparser==1.2.0
debugpy==1.8.1
decorator==5.1.1
defusedxml==0.7.1
Deprecated==1.2.14
deprecation==2.1.0
dirtyjson==1.0.8
distro==1.9.0
docstring-parser==0.15
embedchain==0.1.102
exceptiongroup==1.2.1
executing==2.0.1
faiss-cpu==1.8.0
faiss-gpu==1.7.2
fast-pytorch-kmeans==0.2.0.1
fastapi==0
这是一个Python库的安装列表，包括了各种库及其版本号。
2条答案
按热度按时间jpfvwuh41#
请使用
AgentExecutor并尝试使用 JSON Chat Agent。在您提供的代码中，我没有看到任何特定的提示指示您正在使用的代理类型。vzgqcmou2#
请使用
AgentExecutor并尝试使用 JSON Chat Agent 。在您提供的代码中，我没有看到任何特定的提示表明您正在使用的代理类型。我只是使用 LLM 和工具来决定是否使用工具，类似于 LangGraph 教程。
这是一行代码：llm_with_tool = model.bind_tools(tools)。如果 LLM 决定使用工具，这将返回一个工具消息；如果它决定自己回应，则返回普通消息。
然而，问题不在于我是否使用了 AgentExecutor。问题出在 Groq LLM 模块本身。即使我使用 LCEL 链，这个问题也会出现，而不仅仅是与代理相关的问题。我在 Groq 主页聊天界面上测试了我的提示符，没有遇到这个问题。我还在运行 Llama3-7b 的 LM Studio 上测试了我的提示符，认为问题可能出在该模型上，但没有错误。因此，唯一剩下的可能性是问题出在 Groq 模块本身。