检查其他资源
- 为这个问题添加了一个非常描述性的标题。
- 使用集成搜索在LangChain文档中进行了搜索。
- 使用GitHub搜索查找类似的问题，但没有找到。
- 我确信这是LangChain中的一个bug,而不是我的代码。
- 通过更新到LangChain的最新稳定版本(或特定集成包)无法解决此错误。
示例代码
class GradeDocuments(BaseModel):
score: str = Field(
description="Die Frage handelt sich um ein Smalltalk-Thema, 'True' oder 'False'"
)
def question_classifier(state: AgentState):
question = state["question"]
print(f"In question classifier with question: {question}")
system = """<s>[INST] Du bewertest, ob es in sich bei der Frage des Nutzers um ein Smalltalk-Thema handelt oder nicht. \n
Falls es bei der Frage um generelle Smalltalk-Fragen wie zum Beispiel: 'Hallo, wer bist du?' geht, bewerte es als 'True'. \n
Falls es sich bei der Frage um eine spezifische Frage zu einem Thema handelt wie zum Beispiel: 'Nenne mir Vorteile von Multi CLoud' geht, bewerte die Frage mit 'False'.[/INST]"""
grade_prompt = ChatPromptTemplate.from_messages(
[
("system", system),
(
"human",
"Frage des Nutzers: {question}",
),
]
)
#llm = ChatOpenAI() mit ChatOpenAI gehts, mit Chatgroq vorher iwie nicht mehr
env_vars = dotenv_values('.env')
load_dotenv()
groq_key = env_vars.get("GROQ_API_KEY")
print("Loading Structured Groq.")
llm = ChatGroq(model_name="mixtral-8x7b-32768", groq_api_key = groq_key)
structured_llm = llm.with_structured_output(GradeDocuments)
grader_llm = grade_prompt | structured_llm
result = grader_llm.invoke({"question": question})
state["is_smalltalk"] = result.score
return state错误消息和堆栈跟踪(如果适用)
当涉及到grade_llm.invoke时：
错误代码：400 - {'error': {'message': 'response_format`不支持流式传输', 'type': 'invalid_request_error'}}
描述
你好，
我想使用Groq LLM获取结构化输出，在我的情况下，它应该返回True或False。代码在使用ChatOpenAI时运行正常，但在使用Groq时失败，即使根据文档它应该可以处理结构化输出。
我也尝试了structured_llm = llm.with_structured_output(GradeDocuments, method="json_mode"),但没有成功。
我已经更新了我的langchain-groq版本。
有人知道如何解决这个问题吗？
编辑：我还尝试了一个简单的示例，它在使用ChatOpenAI时可以正常工作，但在使用Groq时出现相同的错误。但是，如果我使用Groq的Llama 3模型，它就可以正常工作，所以似乎这是一个Mixtral 8x7B模型的问题。
系统信息
langchain-groq 0.1.5
langchain 0.2.5
4条答案
按热度按时间wf82jlnq1#
你能请贴出回溯吗？
byqmnocz2#
请将以下代码粘贴到您的编辑器中，以查看回溯：
relj7zay3#
@weissenbacherpwc 谢谢，我会查看一下。
d8tt03nd4#
我遇到了同样的问题，我不得不创建一个子类来阻止流式传输。
langchain/libs/partners/groq/langchain_groq/chat_models.py
第507行 in 9d0c1d2
| | if"tools"inkwargs: |
对于工具使用有特殊情况，在这种情况下只需要使用该路径。