Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API ， FAQ ， Github Issue and AI community to get the answer.Have a nice day!
------------------ 原始邮件 ------------------ 发件人: handiz ***@***.***> 发送时间: 2022年6月15日 15:20 收件人: PaddlePaddle/Paddle ***@***.***> 抄送: MARKLIN1000 ***@***.***>, Author ***@***.***> 主题: Re: [PaddlePaddle/Paddle] 特定层参数的初始化 (Issue #43533) 如果两个embedding的融合是指concat，concat后维度会发生改变，后面bert预训练参数就用不了了。如果只是想改embedding的参数，初始化之后通过bert.embeddings.word_embeddings.weight=xxx（tensor）进行赋值。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>
3条答案
按热度按时间uxhixvfz1#
您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看 官网API文档 、 常见问题 、 历史Issue 、 AI社区 来寻求解答。祝您生活愉快～
Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API ， FAQ ， Github Issue and AI community to get the answer.Have a nice day!
aij0ehis2#
如果两个embedding的融合是指concat，concat后维度会发生改变，后面bert预训练参数就用不了了。如果只是想改embedding的参数，初始化之后通过bert.embeddings.word_embeddings.weight=xxx（tensor）进行赋值。
6ojccjat3#
能不能获得三个embedding相加后最终的结果啊（维度是［bs，seq _length ，768］），我看他返回值里没有这个参数啊.这样就和另一个embedding［bs，vi _length ，768］可以相加，最后就是bs，seq _length+vi _length ，768］维度的张量传给encoder去编码？…
------------------ 原始邮件 ------------------ 发件人: handiz ***@***.***> 发送时间: 2022年6月15日 15:20 收件人: PaddlePaddle/Paddle ***@***.***> 抄送: MARKLIN1000 ***@***.***>, Author ***@***.***> 主题: Re: [PaddlePaddle/Paddle] 特定层参数的初始化 (Issue #43533) 如果两个embedding的融合是指concat，concat后维度会发生改变，后面bert预训练参数就用不了了。如果只是想改embedding的参数，初始化之后通过bert.embeddings.word_embeddings.weight=xxx（tensor）进行赋值。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>