是否计划支持MLFlow作为LLM提供者？
xxe27gdn1#
目前，没有。MLFlow是用于训练模型的，我理解是这样。他们是否也提供了一个用于运行推理的标准化API?这是我们收到的第一个关于MLFlow的请求，如果有更多的支持，我们会优先考虑添加这个功能👍
jbose2ul2#
是的，MLFlow用于训练/评估以及提供模型。它具有统一的API,可以通过端点返回模型 https://mlflow.org/docs/latest/llms/deployments/api.html#/我可以开发一个扩展并提供pull request。
rta7y2nd3#
现在是否有计划将 MLflow 添加为 LLM 提供商？
3条答案
按热度按时间xxe27gdn1#
目前，没有。
MLFlow是用于训练模型的，我理解是这样。他们是否也提供了一个用于运行推理的标准化API?这是我们收到的第一个关于MLFlow的请求，如果有更多的支持，我们会优先考虑添加这个功能👍
jbose2ul2#
是的，MLFlow用于训练/评估以及提供模型。它具有统一的API,可以通过端点返回模型 https://mlflow.org/docs/latest/llms/deployments/api.html#/
我可以开发一个扩展并提供pull request。
rta7y2nd3#
现在是否有计划将 MLflow 添加为 LLM 提供商？