mlc-llm [Feature Request] Bert Model support

ldioqlga 于 2个月前发布在其他

关注(0)|答案(2)|浏览(33)

🚀 功能

动机

我想基于mlc-llm做一个项目，并且我认为根据教程https://github.com/mlc-ai/notebooks/blob/main/mlc-llm/tutorial_add_new_model_architecture_in_tvm_nn_module.ipynb添加一个新的架构(如BERT)是可能的。我想知道是否会有什么大问题？我注意到几乎所有已经存在的模型都是仅解码器，所以也许要添加一个完全不同的模型并不容易？如果你能告诉我这不是一个好主意或者是否可以遵循这个教程，那将是非常有帮助的，非常感谢！

替代方案

附加上下文


### 功能

#### 动机

我想基于mlc-llm做一个项目，并且我认为根据教程 https://github.com/mlc-ai/notebooks/blob/main/mlc-llm/tutorial_add_new_model_architecture_in_tvm_nn_module.ipynb 添加一个新的架构(如BERT)是可能的。我想知道是否会有什么大问题？我注意到几乎所有已经存在的模型都是仅解码器，所以也许要添加一个完全不同的模型并不容易？如果你能告诉我这不是一个好主意或者是否可以遵循这个教程，那将是非常有帮助的，非常感谢！

### 替代方案

### 附加上下文

mlc-llm

来源：https://github.com/mlc-ai/mlc-llm/issues/1979