Paddle 单阶段训练中,双塔的 slot 在共享 embedding时,如何只让其中一个塔更新 embedding,另一个塔不更新 embedding?

unguejic  于 2022-04-21  发布在  Java
关注(0)|答案(5)|浏览(195)

如题:

比方模型由双塔组成,其中A塔的slot集合为slots_1,B塔的slot集合为slots_2,slots_2是slots_1的子集,两个塔的slot共享 embedding,那么写的语法就如下:
A塔:
embs = []
for data in slots_1:
emb = fluid.layers.embedding(input=data, size=9, is_sparse = True,
is_distributed=True, param_attr=fluid.ParamAttr(name='embedding'))
bow = fluid.layers.sequence_pool(input=emb, pool_type='sum')
embs.append(bow)
return embs
B塔:
embs = []
for data in slots_2:
emb = fluid.layers.embedding(input=data, size=9, is_sparse = True,
is_distributed=True, param_attr=fluid.ParamAttr(name='embedding'))
bow = fluid.layers.sequence_pool(input=emb, pool_type='sum')
embs.append(bow)
return embs

这样slots_1和slots_2就应该共享同一个embedding空间了,那该如何实现不让B塔更新 其slots_2的 embedding呢?

nhaq1z21

nhaq1z211#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看官网API文档常见问题历史IssueAI社区来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

hyrbngr7

hyrbngr72#

对于slot2中的bow,设置bow.stop_gradient=True,试试

vwkv1x7d

vwkv1x7d3#

对于slot2中的bow,设置bow.stop_gradient=True,试试

嗯嗯,是准备这么尝试的,但就是不确定,这样会不会导致另一个塔的 embedding 也不更新了?

p4tfgftt

p4tfgftt4#

这个是不会的,这样的设置只是slot2中的bow之前相关的变量不再有梯度

brqmpdu1

brqmpdu15#

这个是不会的,这样的设置只是slot2中的bow之前相关的变量不再有梯度

好的,多谢!

相关问题