功能描述
我刚刚部署了我的第一个Azure ML Studio Serverless端点，然后我意识到，在llama_index中没有匹配的LLM类型。我是不是漏掉了什么？还是说llama_index通常不支持Azure LLMs,而是Open AI资源？
原因
- 无响应*
功能价值
如果这个功能确实缺失，那么需要实现这个功能，使得llama_index支持Azure上所有可用的LLMs。
我刚刚部署了我的第一个Azure ML Studio Serverless端点，然后我意识到，在llama_index中没有匹配的LLM类型。我是不是漏掉了什么？还是说llama_index通常不支持Azure LLMs,而是Open AI资源？
如果这个功能确实缺失，那么需要实现这个功能，使得llama_index支持Azure上所有可用的LLMs。
6条答案
按热度按时间eagi6jfj1#
目前仅支持Azure OpenAI。我不知道Azure Serverless的API是什么样子，但如果只是实现OpenAI的API,那么它已经支持了。
7z5jn7bk2#
好的点，还没有弄清楚他们实际上正在实现哪些API,以及最终是否是模型依赖的。然而，让我们假设它是openai api,你会推荐哪个LLM Package 器？我觉得有很多可以用于那个。
j0pj023g3#
如果它是兼容OpenAI的，你可以使用类似OpenAI的LLM类。
o75abkj44#
目前我无法在AzureOpenAI或OpenAI Like上使其正常工作。如果我有时间研究它，我会提供更多关于端点实现的见解。
对于AzureOpenAI,它要求我拥有一个有效的openAI模型集。
对于OpenAI like,我得到：
信息：httpx:HTTP请求：POST URI_TO_MY_ENDPOINT/completions "HTTP/1.1 405方法不允许"
6bc51xsx5#
这是我找到的，目前我正在使用它与自己的代码。然而，我觉得它应该/可能可以使用OpenAILike类。有人能确认谁对OpenAILike类的实现了解更多吗？
roejwanj6#
我相信无法实现与无服务器Azure端点(Serverless Azure Endpoints)的接口。如果我们能在Azure无服务器端点中使用Phi3,那将非常棒。请将其转换为功能请求：)