ollama Enhancement, Add read from file

dvtswwa3  于 2个月前  发布在  其他
关注(0)|答案(5)|浏览(80)

如果我们可以让模型看图片,那么我们应该也能让它从文本文件中读取。有很多情况下,我想用数据或文本来构建一个问题,但这并不奏效。如果我能说“读取./mytext.txt文件”,然后它就像键盘输入一样全部吸收进去,那将是非常棒的。甚至可以在llm看到“读取文件”命令之前就完成预处理。另外,将输出保存到文件myfile.txt也是有用的。

p3rjfoxz

p3rjfoxz1#

给任何AI不受限制地访问你的目录可能是危险的。你可能想要做的是使用Ollama API构建自己的接口,让接口预加载你的文件,并使用提示将文件传递给API。Langchain有一些工具可以帮助你做到这一点,而且Ollama有一个你可以与之集成的Python包。

rggaifut

rggaifut2#

第一个输入提示可以是一个文件路径,所以它会被读取。不是吗?

fkvaft9z

fkvaft9z3#

第一个输入提示可以是一个文件路径,所以它会被读取。不是吗?
是的,通常的做法是通过前端或者通过类似langchain工具来实现。
另外,对于普通观众的问题:可加载文件的上下文大小是否必须与提示的上下文相同?如果我记得正确的话,其他应用程序实现这个功能的方式是通过嵌入?还是我记错了?

kninwzqo

kninwzqo4#

实际上,我提议的是在LLM和外部世界之间建立一个过滤器。提示“从文件test.txt中读取”不会传递给LLM,过滤器会捕获它,读取文件,并将内容传递给LLM。写入文件的过程也类似。
是的,这可以做到,并且在Ollama之外完成,但由于这是一个常见的用例,所以如果能够从文本界面实现就更好了(例如:ollama run mistral)。

aiazj4mn

aiazj4mn5#

Ollama接受通过stdin输入的文本,因此您可以将文本通过管道/重定向输入到它。
ollama run MODEL "summarize this text" < file.txt
links -dump https://github.com/jmorganca/ollama/ |ollama run mistral --verbose "please summarize the provided text"
(links是一个文本模式的浏览器。由于它不支持JavaScript,所以在现代网络上的实用性有所降低)
不幸的是,似乎没有办法做到这一点,然后使用加载在上下文中的文本与Ollama进行聊天。

相关问题