FastGPT 相近似的问题,回答却不同

tkclm6bt  于 2个月前  发布在  其他
关注(0)|答案(5)|浏览(43)

例行检查

  • 我已确认目前没有类似 issue
  • 我已完整查看过项目 README,以及 项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • 私有部署版本, 具体版本号: 4.8.3

问题描述, 日志截图

相近似的问题,回答却不同;有什么优化方法吗?

复现步骤

预期结果

相关截图

zc0qhyus

zc0qhyus1#

查看引用部分,答案所在内容块,都检索出来了;只是,回答不同;

jyztefdp

jyztefdp2#

AI大模型智障,好像没啥好办法。经常是排序为第1的知识库内容块,也会被大模型忽略掉,包括块中的好多内容,都给丢弃了。给提示词也白扯。

yiytaume

yiytaume3#

查看引用部分,答案所在内容块,都检索出来了;只是,回答不同;
AI大模型智障,好像没啥好办法。经常是排序为第1的知识库内容块,也会被大模型忽略掉,包括块中的好多内容,都给丢弃了。给提示词也白扯。
对对,有这种情况,排名第一块有答案,llm就是不用,从而导致错答

disho6za

disho6za4#

我们单位搞了类似的AI知识库,作为AI大模型目前应用落地成熟度较高的RAG知识库方向来说,用户体验反馈说只是拟人化比较高的机器智障而已,谈不上智能。
对于那种RAG检索排名靠前,但是被LLM忽略的问题,我好像记得其实fastgpt以前对于知识库返回的块可以设置数量限制的,前top_n个块会返回给大模型,可以设置的话,有时候在大部分场景可以设置为1到2,最匹配的给大模型就好。结果后来fastgpt把返回的块数量设置改成了返回的总的t引用oken数量,这样就没法按排名限制了,导致了这种情况就无解。

tyu7yeag

tyu7yeag5#

我们单位搞了类似的AI知识库,作为AI大模型目前应用落地成熟度较高的RAG知识库方向来说,用户体验反馈说只是拟人化比较高的机器智障而已,谈不上智能。 对于那种RAG检索排名靠前,但是被LLM忽略的问题,我好像记得其实fastgpt以前对于知识库返回的块可以设置数量限制的,前top_n个块会返回给大模型,可以设置的话,有时候在大部分场景可以设置为1到2,最匹配的给大模型就好。结果后来fastgpt把返回的块数量设置改成了返回的总的t引用oken数量,这样就没法按排名限制了,导致了这种情况就无解。
现在引用有score和index排名,优化好提示词应该也行

相关问题