text-generation-inference Allow multi-lora in Messages API

ve7v8dk2  于 23天前  发布在  其他
关注(0)|答案(2)|浏览(25)

功能需求

TGI的多LoRa支持自2.0.6版本以来就一直存在,但它与使用openai包的Messages API不兼容。

动机

目前,openai聊天补全方法已经成为行业标准,因此使其与多LoRa兼容将是非常好的。

你的贡献

.

des4xlb0

des4xlb01#

你好@nbroad1881 👋
顺便说一下,我在slack上看到有人讨论这个问题。问题解决了吗?还是我们应该保持开放? 🤗

cbwuti44

cbwuti442#

@drbh正在修复这个问题。

相关问题