anything-llm RAG实现中,使用用户角色得到不同的结果?

zxlwwiss  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(32)

AnythingLLM 运行情况如何?

Docker(本地)

发生了什么?

使用大约100个pdf和文本文档训练的系统。使用默认和内置数据库。Windows 11。Docker镜像大约在18小时前拉取。
管理员用户从训练过的文档中获得预期的答案。
非管理员用户获得原始Ollama llama3.0 LLM答案,并附带正确的引用。
使用完全相同的问题和其他基本问题进行测试。100%的时间里,管理员用户都能获得正确显示已访问过训练文档的答案文本,以及包含部分答案文本的4个引用,符合预期。
默认用户获得原始LLM答案(通常错误百出),并附带“正确”的4个引用,其中包含问题文本列表(对于那些相同的问题)。
在Firefox、Chrome和Edge中进行测试,包括常规浏览器和隐身模式。
用户被设置为“默认”。用户被添加到工作区。
解决方法是让所有用户以管理员身份登录,并要求不更改任何设置。

bihw5rsg

bihw5rsg1#

这不是RAG系统实施的方式,也不应该这样。每个人在同一个工作空间中都有相同的文档访问权限,因此在一个工作空间中发送提示时,唯一具有用户特定信息的只有该特定用户发送的当前聊天/线程历史记录。

我认为这个问题要么存在误解,要么是由于其他细节缺失导致RAG性能变差。

这部分:
默认用户获得原始LLM答案(通常错误得可笑),并列出包含问题文本的“正确”4个引用(对于那些相同的问题)。
相当奇怪,除非在响应生成过程中明确使用,否则引用根本不应该存在🤔

相关问题