描述你想要的功能
假设我有一个自定义模型,托管在某个远程服务器上,并有一个推理API端点。推理API端点以特定的JSON格式接收输入,并以特定的JSON格式输出。我应该有一个“通用/通用”组件,我可以拖放并指定以下内容:
- 触发自定义模型(托管在某个远程服务器)的推理端点。
- 指定输入有效负载的模式,并具有将用户输入Map到模式中的字段的能力。
- 指定头信息(在某些情况下用于API密钥)。
- 指定输出模式,并具有将输出字段Map到用户选择的能力。
附加上下文
这里的想法是拥有一个通用组件,具有从任何托管自定义模型的服务器获取推理的能力,而不仅仅是限制在Open AI、Hugging Face、Azure、Replicate等上。
1条答案
按热度按时间vlurs2pr1#
当然,能够使用任何模型,本地或远程。