与Playground相比,Langflow API速度较慢,

t3psigkw  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(36)

Bug描述

我正在运行langflow-1.0.12作为Docker容器,playground似乎比使用webhook快得多。我以为Langsmith是问题的原因,但是,尽管没有Langsmith的playground要快得多,通过API问题仍然存在。

重现

尝试使用任何playground和webhook进行流程。

预期行为

webhook的推断时间慢3倍。

谁可以帮忙?

  • 无响应*

操作系统

Ubuntu 22.04

Langflow版本

1.0.12

Python版本

3.12

截图

  • 无响应*

流程文件

  • 无响应*
cs7cruho

cs7cruho1#

嘿,@Frenz86!我在这里帮助你解决任何错误、问题或贡献。让我们一起解决你面临的问题。
在Ubuntu 22.04上运行的Langflow版本1.0.12中,通过Docker容器中的webhook进行较慢的推理时间可能是由于Dockerfile使用了Python 3.10-slim而不是Python 3.12导致的。这种差异可能导致性能问题。
要解决这个问题,你应该修改Dockerfile以使用Python 3.12。以下是更新后的Dockerfile:

FROM langflowai/backend_build as backend_build

FROM python:3.12-slim
WORKDIR /app

RUN apt-get update && apt-get install git -y

COPY --from=backend_build /app/dist/*.whl /app/
RUN pip install langflow-*.whl
RUN rm *.whl

EXPOSE 80

CMD [ "uvicorn", "--host", "0.0.0.0", "--port", "7860", "--factory", "langflow.main:create_app" ]

通过确保Docker容器使用Python 3.12,你可以使环境更接近于Playground中使用的环境,从而可能提高推理速度1(https://github.com/logspace-ai/langflow/blob/dev/src/backend/Dockerfile)。

  • 要继续与Dosu交谈,请提及@dosu。*

相关问题