功能请求
最近，基于Transformer架构的多模态大型模型相继出现。text-generate-inference能否提供一些支持？例如，一个可行的解决方案是让text-generate-inference仅支持推理部分，而编码和解码由用户处理。在发起请求时，输入令牌ID而不是文本。这类项目的示例包括( https://github.com/2noise/ChatTTS )和( https://github.com/RVC-Boss/GPT-SoVITS )等多模态模型。
动机
无
你的贡献
无
1条答案
按热度按时间4ktjp1zp1#
感谢您的PR @Strive-for-excellence!目前我认为这不是计划中的，但如果我们看到您问题上的重大活动表明这对其他人很重要，我们会很高兴进行更深入的研究。