阅读相关问题，它说要使用ollama启动一个本地模型，但是https://ollama.com/library不支持ChatGLM,或者需要很多工作来支持ChatGLM和ollama的结合。此外，目前已经在使用fastchat部署其他应用程序，因此希望能够重用这个模型。请允许我使用fastchat启动一个大模型，并使用fastapi自行 Package 接口，伪装成ollama吗？我需要向ragflow提供哪些关键接口？
https://ollama.com/library
rqcrx0a61#
相同的需求，Ollama只是一个玩具，太难用了。统一按照OpenAI的格式接入就可以了，这已经成为业内的规范。Ollama官方提供的模型都是4bit量化的，如果想要添加自定义模型，还需要自己转换格式，而且没有VLLM推理优化。
1条答案
按热度按时间rqcrx0a61#
相同的需求，Ollama只是一个玩具，太难用了。统一按照OpenAI的格式接入就可以了，这已经成为业内的规范。Ollama官方提供的模型都是4bit量化的，如果想要添加自定义模型，还需要自己转换格式，而且没有VLLM推理优化。