langchain 请求超时/花费太长时间

ehxuflar  于 4个月前  发布在  其他
关注(0)|答案(2)|浏览(54)

检查其他资源

  • 为这个问题添加了一个非常描述性的标题。
  • 使用集成搜索在LangChain文档中进行搜索。
  • 使用GitHub搜索查找类似的问题,但没有找到。
  • 我确信这是LangChain中的一个bug,而不是我的代码。
  • 通过更新到LangChain的最新稳定版本(或特定集成包)无法解决此bug。

示例代码

chain = LLMChain(
    llm=self.bedrock.llm,
    prompt=self.prompt_template,
)
chain_result = chain.predict(statement=text).strip()

错误信息和堆栈跟踪(如果适用)

  • 无响应*

问题描述

我遇到了一个与#3512相似的问题。
在Azure Web App中托管的Flask应用程序中使用Langchain。在AWS Bedrock中调用Anthropic Claude3 Haiku模型。
第一次Langchain请求大约需要2分钟才能返回。后续请求则顺利进行。大约7分钟后,第一次请求又变得耗时过长。
无法在本地复现这个问题。只有在Azure环境中才会出现这种情况。
当使用boto3 AWS python SDK进行测试时,每次请求都能快速返回,没有任何问题。

系统信息

langchain==0.2.3
linux slim-bookworm
python:3.12.3
container image: python:3.12.3-slim-bookworm

yr9zkbsy

yr9zkbsy1#

如果仅在Azure环境中出现此问题,则可能不是langchain的问题。请检查Azure Web App的网络设置,并确保没有任何防火墙?

91zkwejq

91zkwejq2#

我将检查防火墙。然而,既然使用boto3的请求运行正常,是否存在防火墙问题?Langchain和boto3都向相同的端点/服务发出请求。

相关问题