模型没有在本地部署，而是在第三方服务器上部署好了。现在想要使用QAnything将已部署的模型连接进来。
hgqdbh6s1#
补充一下，我想在CPU机器上部署，跳过GPU部署模型阶段，因为模型已经在三方服务器上部署了。
zujrkrfu2#
同问mark
pb3s4cty3#
同问
91zkwejq4#
需要提供类似fastchat的接口。
34gzjxbg5#
不支持。从介绍来看似乎支持，但查看源码qanything_kernel/connector/llm/llm_for_openai_api.py后发现实际写死了，只支持OpenAI的模型，即使使用OpenAI的API接口也不行。
pbpqsu0x6#
qanything_kernel/connector/llm/llm_for_openai_api.py这个文件，从93行开始的程序改成下面这样，可以在一些私有模型上运行，例如千问1.5。else:
return self.num_tokens_from_messages(messages, model="gpt-4-0613")
c6ubokkw7#
你好，这个问题实现了吗？
7条答案
按热度按时间hgqdbh6s1#
补充一下，我想在CPU机器上部署，跳过GPU部署模型阶段，因为模型已经在三方服务器上部署了。
zujrkrfu2#
同问mark
pb3s4cty3#
同问
91zkwejq4#
需要提供类似fastchat的接口。
34gzjxbg5#
不支持。从介绍来看似乎支持，但查看源码qanything_kernel/connector/llm/llm_for_openai_api.py后发现实际写死了，只支持OpenAI的模型，即使使用OpenAI的API接口也不行。
pbpqsu0x6#
qanything_kernel/connector/llm/llm_for_openai_api.py这个文件，从93行开始的程序改成下面这样，可以在一些私有模型上运行，例如千问1.5。
else:
对于没有实现的模型，抛出未实现错误
raise NotImplementedError(
f"""num_tokens_from_messages() is not implemented for model {model}. See https://github.com/openai/openai-python/blob/main/chatml.md for information on how messages are converted to tokens."""
)
return self.num_tokens_from_messages(messages, model="gpt-4-0613")
c6ubokkw7#
你好，这个问题实现了吗？