mlc-llm [功能请求] BERT模型支持/编码器

llmtgqce  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(32)

🚀 功能

支持对Bert架构模型进行推理。
我明白这个请求可能很重。如果能对Bert/Roberta等编码器模型进行推理,用于嵌入和框架(如michaelfeil/infinity),那就太好了。

动机

替代方案

额外背景

m3eecexj

m3eecexj1#

@michaelfeil我想问一下,这个方面有没有新的进展?我也有类似的需求。

相关问题