我想在ollama服务器(Windows)上使用自定义脚本执行检索增强生成(RAG)过程。我该怎么做？(我有一个使用Python脚本、langchain和ollama的示例，但是我无法通过API RESTful在ollama服务器后面实现它)。
允许检索增强生成(RAG)或添加一个示例
rdlzhqv91#
当我需要使用ollama进行RAG时，我总是使用矢量数据库和嵌入模型(例如：nomic-embed-text:latest)在嵌入端点上生成我的嵌入，然后搜索最接近的匹配嵌入。
b5lpy0ml2#
Check out this: https://python.langchain.com/docs/integrations/llms/ollama/https://python.langchain.com/docs/use_cases/question_answering/quickstart/
1cklez4t3#
请查看我的小项目，它是一个使用Ollama后端的RAG:https://github.com/aosan/VaultChat
vptzau2j4#
我也对此感兴趣，如果没有一种方法来对输出查询和输入提示进行评分，就很难确定答案是否好。我希望看到奥拉马获得更多这样的东西。
kpbpu0085#
我喜欢Ollama的可靠性和速度。如果能添加RAG支持就更好了，因为它本质上创建了一个无限大小的上下文窗口。这虽然有速度和准确性方面的限制，但对于解决上下文窗口问题来说是一个很好的解决方案。
5条答案
按热度按时间rdlzhqv91#
当我需要使用ollama进行RAG时，我总是使用矢量数据库和嵌入模型(例如：nomic-embed-text:latest)在嵌入端点上生成我的嵌入，然后搜索最接近的匹配嵌入。
b5lpy0ml2#
Check out this: https://python.langchain.com/docs/integrations/llms/ollama/
https://python.langchain.com/docs/use_cases/question_answering/quickstart/
1cklez4t3#
请查看我的小项目，它是一个使用Ollama后端的RAG:https://github.com/aosan/VaultChat
vptzau2j4#
我也对此感兴趣，如果没有一种方法来对输出查询和输入提示进行评分，就很难确定答案是否好。我希望看到奥拉马获得更多这样的东西。
kpbpu0085#
我喜欢Ollama的可靠性和速度。如果能添加RAG支持就更好了，因为它本质上创建了一个无限大小的上下文窗口。这虽然有速度和准确性方面的限制，但对于解决上下文窗口问题来说是一个很好的解决方案。