请描述需要解决的问题ollama网站 ollamaOllama在本地使用大型语言模型快速启动并运行。Ollama因其高效的模型管理和本地执行而受到欢迎。
(可选):建议一个解决方案
为本地模型添加参数以支持指定Ollama API地址和模型。如果有多个解决方案，请分别提出。最后进行比较。
z8dt9xmd1#
你可以在你的电脑上运行llamafile(GGUF),它支持CPU,并提供一个OpenAI兼容的API。将此文件(QAnything/tree/master/qanything_kernel/connector/llm/llm_for_online.py)修改为本地llm服务器端点。
jk9hmnmh2#
Sir,您有特定的步骤吗？
2条答案
按热度按时间z8dt9xmd1#
你可以在你的电脑上运行llamafile(GGUF),它支持CPU,并提供一个OpenAI兼容的API。
将此文件(QAnything/tree/master/qanything_kernel/connector/llm
/llm_for_online.py)修改为本地llm服务器端点。
jk9hmnmh2#
Sir,您有特定的步骤吗？