dify 将PDF文件上传到知识库可能会干扰其他用户的正常使用,

c7rzv4ha 于 2个月前发布在其他

关注(0)|答案(2)|浏览(36)

自我检查

这仅用于提交错误报告，如果您想提问，请访问 Discussions 。
我已在现有问题中进行了搜索，包括已关闭的问题。
我确认我使用英文提交此报告(我已阅读并同意 Language Policy )。
请务必使用英文提交问题，否则会被关闭。谢谢！:)
请不要修改此模板 :) 并填写所有必需的字段。

Dify版本

0.6.15

云或自托管

自托管(Docker)

重现步骤

我在本地服务器上使用Docker部署了DiFY,运行在Ubuntu 22上，配备了Intel Xeon Gold 5320*2 CPU和256GB的内存。我遇到了一个问题，即上传大约十份PDF文件时，每份大约10兆字节(总计约100兆字节)到知识库需要花费大量时间；在此期间，其他用户无法正常访问DiFY。在检查服务器后，我发现系统资源使用率处于典型水平；只有几个CPU核心达到100%利用率，而大多数仍然处于低利用率。是否有关于DiFY配置资源消耗的问题？我应该如何调整配置设置以最大化服务器性能并确保所有用户都能无中断地访问？

✔️ 预期行为

无响应*

❌ 实际行为

无响应*

dify

来源：https://github.com/langgenius/dify/issues/6607

2条答案

按热度按时间

txu3uszq1#

你好@wmcde!我在这里帮助你解决DiFY中的任何错误、问题或相关贡献。请告诉我如何协助你！
为了解决在DiFY 0.6.15版本中上传大型PDF文件导致其他用户访问中断的问题，你可以调整几个配置设置来优化资源使用和提高服务器性能。以下是你可以遵循的步骤：

调整环境变量:
增加服务器工作线程的数量以处理更多并发请求。
增加请求处理的超时时间以支持更长的连接。
增加数据库连接池的大小以处理更多并发数据库连接。
增加Celery工作线程的数量以更有效地处理后台任务。

以下是针对你的 docker-compose.yaml 文件的示例配置：

services:
  api:
    environment:
      SERVER_WORKER_AMOUNT: "8"  # Adjust based on CPU cores (e.g., 4 cores x 2 + 1)
      GUNICORN_TIMEOUT: "360"  # Increase timeout to support longer connections
      SQLALCHEMY_POOL_SIZE: "50"  # Increase connection pool size if needed
      CELERY_WORKER_AMOUNT: "4"  # Increase the number of Celery workers if needed
      UPLOAD_FILE_SIZE_LIMIT: "100MB"  # Example value, adjust as necessary
      UPLOAD_FILE_BATCH_LIMIT: "10"  # Example value, adjust as necessary

优化资源分配:
根据CPU核心数量调整服务器的资源使用情况，确保服务器的资源得到充分利用。推荐的公式是 CPU core count x 2 + 1 。
根据工作负载和服务器容量监控和调整 SQLALCHEMY_POOL_SIZE 和 CELERY_WORKER_AMOUNT 。
监控性能:
持续监控服务器的性能和资源使用情况，以识别任何瓶颈或未充分利用的资源。根据需要调整配置设置，以确保最佳性能。

通过进行这些调整，你可以提高服务器处理大型文件上传的能力，并为所有用户保持无中断的访问 1(https://github.com/langgenius/dify-docs/blob/main/en/getting-started/install-self-hosted/install-faq.md)2(https://github.com/langgenius/dify/blob/main/docker/.env.example) 。

要继续与 Dosu 交谈，请提及 @dosu。

赞(0）回复(0）举报 2个月前

bjg7j2ky2#

@takatost,你能看一下这个吗？

赞(0）回复(0）举报 2个月前

我来回答