Flowise [功能] 远程自定义模型的组件,具有推理端点、模式(输入和输出)和目标字段 翻译结果:[功能] 新组件用于远程自定义模型,具有推理端点、模式(输入和输出)以及目标字段,

u2nhd7ah  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(53)

描述你想要的功能

假设我有一个自定义模型,托管在某个远程服务器上,并有一个推理API端点。推理API端点以特定的JSON格式接收输入,并以特定的JSON格式输出。我应该有一个“通用/通用”组件,我可以拖放并指定以下内容:

  1. 触发自定义模型(托管在某个远程服务器)的推理端点。
  2. 指定输入有效负载的模式,并具有将用户输入Map到模式中的字段的能力。
  3. 指定头信息(在某些情况下用于API密钥)。
  4. 指定输出模式,并具有将输出字段Map到用户选择的能力。

附加上下文

这里的想法是拥有一个通用组件,具有从任何托管自定义模型的服务器获取推理的能力,而不仅仅是限制在Open AI、Hugging Face、Azure、Replicate等上。

vlurs2pr

vlurs2pr1#

当然,能够使用任何模型,本地或远程。

相关问题