Paddle profiler计算op工具报错:error: function dynload::cuptiActivityEnable(CUPTI_ACTIVITY_KIND_MEMCPY) failed with error CUPTI_ERROR_INSUFFICIENT_PRIVILEGES

j1dl9f46  于 2021-12-07  发布在  Java
关注(0)|答案(11)|浏览(479)
  • 版本、环境信息:

   1)PaddlePaddle版本:1.8.0
   2)CPU
   3)系统环境:ubuntu(18和20都试过)

开发人员您好,今天我在使用profiler计算paddlefl训练各op所占时间时,遇到如下报错:

我发现使用timeline profiler文档中所带的test测试文件也产生同样错误。然而今天之前我从未出现该错误,一直是可以跑的。请问是什么原因呢

aurhwmvo

aurhwmvo1#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看官网API文档常见问题历史IssueAI社区来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

ukxgm1gy

ukxgm1gy2#

你好,“今天之前我从未出现该错误”,想问下上次执行到现在有什么其他的变动么?

比如机器环境是否有变化?

r6l8ljro

r6l8ljro3#

您好,感谢回复!没有任何变化,为了排除我今日在一台新机器上是安装了环境进行测试,出现了同样的错误。为了排除代码问题,我同样跑了官方文档给的timeline的demo,也是一样的错误。但这个错误目前只在ubuntu上出现,window10上没有问题。

pdtvr36n

pdtvr36n4#

使用 1.8.5 版本试下呢?

uelo1irk

uelo1irk5#

您好老师 请问目前1.8.5支持paddlefl吗,之前我在paddlefl那边的 issue里好像表示只支持1.8.0

rsaldnfx

rsaldnfx6#

这个我不是确定 PaddleFL的依赖,我去其仓库看了下,是推荐在docker里使用的,可以用 pip list | grep paddle 看下版本。

另外,我查了一下,如果你是在docker 容器里使用的,可能和你创建容器的选项有关系:

User doesn't have sufficient privileges which are required to start the profiling session. One possible reason for this may be that the NVIDIA driver or your system administrator may have restricted access to the NVIDIA GPU performance counters.

可以加上 -privileged=true

如不是,可以尝试:

Adding options nvidia "NVreg_RestrictProfilingToAdminUsers=0" to /etc/modprobe.d/nvidia-kernel-common.conf
and reboot should resolve the permision issue.

8wigbo56

8wigbo567#

您好老师!我刚刚装了个1.8.5的环境,应该无法支持paddlefl,我是直接装在实体机上的,通过查看您给的目录/etc/modprobe.d/,发现没有找到nvidia-kernel-common.conf文件,请问是修改下图中的某个文件吗

41ik7eoe

41ik7eoe8#

没有的话,可能不是这个原因,因为你之前是可以跑的。你确认下 LD_LIBRARY_PATH环境变量是否设置正确。

如下是我在谷歌上看到的其他解决办法,你可以尝试下:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.1/extras/CUPTI/lib64 to ~/.bashrc

你可以google failed with error CUPTI_ERROR_INSUFFICIENT_PRIVILEGES 在其他github repo中找到上述类似解答。

ghhaqwfi

ghhaqwfi9#

谢谢老师解答!我用了您的方法好像还是不太行,个人感觉还是paddle版本的问题,1.8.5完全没有问题,1.8.0一直不行,我在多台新机器上都重装了环境测试过了,除了windows10上的1.8.0环境还能跑之外,所有的ubuntu环境都变成了这个错误。

cidc1ykv

cidc1ykv10#

这个好奇怪,感觉是哪些环境的问题。从最初你描述说“然而今天之前我从未出现该错误,一直是可以跑的”,你可以根据这个线索看下是哪里环境有变更。

j7dteeu8

j7dteeu811#

您好老师,我这边已经解决了该问题,应该是权限问题,用sudo软连接python解释器没有出现这个问题

相关问题