llama_index [功能请求]:使用基于OpenAI官方客户端的LLM

weylhg0b  于 2个月前  发布在  其他
关注(0)|答案(3)|浏览(37)

功能描述

如果能使用基于官方OpenAI客户端的LLM,那就太好了。更准确地说,我希望有一个类似于OpenAI的LLM类,它继承自官方OpenAI客户端:

from openai import OpenAI

class LLM_standardized_UI(OpenAI)

llm = LLM_standardized_UI()
# then use llm.invoke(...) etc.

原因

许多LLM托管框架,如TGI和vLLLM,与Open AI API兼容。因此,它们的客户端可以使用。对于一些用户来说,由于企业网关等原因,身份验证过程有点复杂。因此,更改密钥和URL是不够的。例如,我不得不对客户端的身份验证头做更大的改动

功能价值

如果有一个类继承自OpenAI的官方客户端,那么只需进行少量修改就可以轻松地继承任何类,比如更新头部信息。目前from from llama_index.llms.openai import OpenAI没有继承自官方客户端,因此需要进行重大修改。然后我可以像这样简单地使用llama-index:

from openai import OpenAI

class myOAIimplementation(OpenAI):
   # modify auth_headers

class LLM_standardized_UI(myOAIimplementation)

llm = LLM_standardized_UI()
# then use llm.invoke(...) etc.
tnkciper

tnkciper1#

@o1iv3r have you seen the OpenAILike LLM class? Does this solve your need?
pip install llama-index-llms-openai-like

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(base_url="..", api_key="fake", model="some_model")
ojsjcaue

ojsjcaue3#

谢谢,很遗憾不是。我看到这个了。但是我们必须做的不仅仅是改变base_url和api_key。

相关问题