Bug描述
我在两个不同的托管服务器上测试了相同的流程。一个是Datastax Langflow,另一个是GCP VM。在Langflow整个流程中,Datastax Langflow产生了约10秒的延迟。但是在GCP VM上,整个流程产生了约20秒的延迟。我们在playground上进行了多轮测试。GCP VM的类型是c2d-highcpu-16(16vCPU,32 GB内存)。是否有运行langflow更快的特殊硬件要求?
重现步骤
- 没有关于流程的具体信息
- 两种流程都使用了Astra DB
预期行为
两种langflow流程产生相同的延迟
谁能帮忙?
- 无响应*
操作系统
GCP VM Ubuntu 22.04
Langflow版本
1.0.9
Python版本
3.12
截图
- 无响应*
流程文件
- 无响应*
2条答案
按热度按时间dbf7pr2w1#
在GCP VM上没有运行的进程。
lx0bsm1f2#
你好@Nymbayar!我在这里协助你解决任何bug、问题或贡献。让我们一起解决这个问题。
你在Datastax Langflow和GCP VM之间经历的延迟差异可能是由几个因素造成的,包括硬件配置、网络延迟和Langflow设置中的特定设置。
以下是一些建议,以提高你的GCP VM上的性能:
--workers
选项或LANGFLOW_WORKERS
环境变量调整工作进程的数量。对于具有16个vCPU的VM,您可以将工作进程数量设置为16:或者通过设置环境变量:
batch_size
、bulk_insert_batch_concurrency
、bulk_insert_overwrite_concurrency
和bulk_delete_concurrency
设置,以确保高效的数据处理和检索。c2d-highcpu-16
类型应该足够,但请确保没有其他进程消耗大量资源。通过实施这些优化,你应该能够减少GCP VM上的延迟,并实现更接近于Datastax Langflow 1(https://github.com/langflow-ai/langflow/blob/dev/README.md)2(https://github.com/langflow-ai/langflow/blob/dev/src/backend/base/langflow/components/vectorstores/AstraDB.py)3(https://github.com/langflow-ai/langflow/blob/main/src/backend/base/langflow/components/vectorstores/AstraDB.py)的性能。