功能描述
如果能使用基于官方OpenAI客户端的LLM,那就太好了。更准确地说,我希望有一个类似于OpenAI的LLM类,它继承自官方OpenAI客户端:
from openai import OpenAI
class LLM_standardized_UI(OpenAI)
llm = LLM_standardized_UI()
# then use llm.invoke(...) etc.
原因
许多LLM托管框架,如TGI和vLLLM,与Open AI API兼容。因此,它们的客户端可以使用。对于一些用户来说,由于企业网关等原因,身份验证过程有点复杂。因此,更改密钥和URL是不够的。例如,我不得不对客户端的身份验证头做更大的改动
功能价值
如果有一个类继承自OpenAI的官方客户端,那么只需进行少量修改就可以轻松地继承任何类,比如更新头部信息。目前from from llama_index.llms.openai import OpenAI
没有继承自官方客户端,因此需要进行重大修改。然后我可以像这样简单地使用llama-index:
from openai import OpenAI
class myOAIimplementation(OpenAI):
# modify auth_headers
class LLM_standardized_UI(myOAIimplementation)
llm = LLM_standardized_UI()
# then use llm.invoke(...) etc.
3条答案
按热度按时间tnkciper1#
@o1iv3r have you seen the
OpenAILike
LLM class? Does this solve your need?pip install llama-index-llms-openai-like
arknldoa2#
https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai-like/llama_index/llms/openai_like/base.py
ojsjcaue3#
谢谢,很遗憾不是。我看到这个了。但是我们必须做的不仅仅是改变base_url和api_key。