随着嵌入技术的引入：#3734,计划在路线图上支持BERT模型吗？
6tr1vspr1#
Yep - we would welcome a PR
2skhul332#
听起来很有趣！我也要加入这个关于那个有什么提示或建议吗？@DarkLight1337@robertgshaw2-neuralmagic谢谢！
9ceoxa923#
我对这个任务也很感兴趣。参考#3734,我使用transformers.BertModel来实现BertEmbeddingModel类(main...laishzh:vllm:feat/bert)。代码版本较早，但它可以输出我认为是错误的嵌入。原因可能是权重没有正确加载。这是我第一次开发，我不确定这是实现BertModel的正确方法，还是需要重新实现BertModel?欢迎提供建议或合作。@Etelis 希望这对你有帮助。
0qx6xfy64#
你必须做的第一件事是在vllm/model_executor/models目录中使用vllm/model_exeuctor/layers中的层实现BERTModel或XLMRobertaModel。然后在注册表中注册模型。你可以以llama和其他在该目录中实现的模型为灵感。
vllm/model_executor/models
vllm/model_exeuctor/layers
BERTModel
XLMRobertaModel
4条答案
按热度按时间6tr1vspr1#
Yep - we would welcome a PR
2skhul332#
听起来很有趣！我也要加入这个
关于那个有什么提示或建议吗？
@DarkLight1337
@robertgshaw2-neuralmagic
谢谢！
9ceoxa923#
我对这个任务也很感兴趣。参考#3734,我使用transformers.BertModel来实现BertEmbeddingModel类(main...laishzh:vllm:feat/bert)。代码版本较早，但它可以输出我认为是错误的嵌入。原因可能是权重没有正确加载。这是我第一次开发，我不确定这是实现BertModel的正确方法，还是需要重新实现BertModel?欢迎提供建议或合作。
@Etelis 希望这对你有帮助。
0qx6xfy64#
你必须做的第一件事是在
vllm/model_executor/models目录中使用vllm/model_exeuctor/layers中的层实现BERTModel或XLMRobertaModel。然后在注册表中注册模型。你可以以llama和其他在该目录中实现的模型为灵感。