使用paddle.nn.ClipGradByGlobalNorm报错 OSError: (External) CUDA error(9), invalid configuration argument.

lqfhib0f 于 2022-11-19 发布在其他

关注(0)|答案(5)|浏览(345)

bug描述 Describe the Bug

使用paddle.nn.ClipGradByGlobalNorm(clip_norm=0.01)

GPU训练200个iters后报错如下：

并且使用paddle.nn.ClipGradByNorm就不会报错。但是论文对齐中是使用的torch.nn.utils.clip_grad_norm_对应ClipGradByGlobalNorm.

根据其他issue关闭shared_memory后

其他补充信息 Additional Supplementary Information

No response

Paddle

来源：https://github.com/PaddlePaddle/Paddle/issues/48125

5条答案

按热度按时间

kx1ctssn1#

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue 、 AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API ， FAQ ， Github Issue and AI community to get the answer.Have a nice day!

赞(0）回复(0）举报 2022-11-19

6tr1vspr2#

可以清理一下你的shm看看

赞(0）回复(0）举报 2022-11-19

uqcuzwp83#

那设置use-shared memory =false不可以么，设置后的报错怎么处理呢？

赞(0）回复(0）举报 2022-11-19

rdlzhqv94#

并且使用paddle.nn.ClipGradByNorm就不会报错。但是论文对齐中是使用的torch.nn.utils.clip_grad_norm_对应ClipGradByGlobalNorm

赞(0）回复(0）举报 2022-11-19

djmepvbi5#

看报错信息是资源不够，能换个环境跑一下么？