Langchain-Chatchat [BUG] 离线知识库问答响应速度太慢

66bbxpm5  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(44)

问题描述:离线知识库问答响应速度太慢,经测试离线知识库问题的回答总结能力尚可,准确率大约在80%,我的离线知识库文件大多为pdf,向量数据库采用faiss。当向量数据库index.faiss大小为140M时,在RTX 3090上的检索响应时长为101秒左右;当向量数据库大小为77M时,在RTX 3090上的检索响应时长为55秒左右;可以得出结论离线知识库的检索效率与向量库的大小成正相关。预期的结果是向量检索速度应保持在10秒以内,实际结果是77M的向量文件检索速度时间在55秒,耗时过长感觉是有异常存在的。且在日志中出现警告:UserWarning: No relevant docs were retrieved using the relevance score threshold 2.0。告警显示在执行文本检索或查询时,没有找到任何相关的文档,但是对话界面却依旧回答出了正确答案,这是为什么?

环境信息:Langchain-Chatchat 版本/commit号:0.3.1.3;部署方式:源码部署;使用的模型推理框架:Xinference;使用的LLM模型:GLM-4-9B;使用的Embedding模型:bge-large-zh-v1.5;使用的向量库类型(faiss / milvus / pg_vector等):faiss;操作系统及版本:CentOS7;Python版本:3.11;推理使用的硬件(GPU / CPU / MPS / NPU等):GPU;其他相关环境信息:硬件指标:RTX3090 24G显存,6核CPU。

根据您提供的信息,我了解到您的离线知识库问答响应速度较慢,可能存在一些异常情况。建议您检查以下几点:

  1. 请确保您的离线知识库文件格式正确,例如PDF文件是否已经转换为向量数据库可以识别的格式。
  2. 请检查您的向量数据库索引过程是否正确,以及是否有足够的内存和计算资源来支持大规模的向量检索。
  3. 请检查您的日志信息,以便更好地了解问题所在。从日志中可以看出,在执行文本检索或查询时,没有找到任何相关的文档。这可能是由于向量数据库中的数据不完整或者存在错误导致的。您可以尝试重新训练或更新您的向量数据库,以提高检索准确性。
  4. 如果以上方法都无法解决问题,建议您联系相关技术支持人员进行进一步的排查和解决。

相关问题