Paddle 使用ernie_tiny进行下游任务推理时,从GPU设备拷贝tensor到CPU设备(.cpu())速度很慢

ibps3vxo  于 2022-04-21  发布在  Java
关注(0)|答案(2)|浏览(243)
  • 版本、环境信息:

   1)PaddlePaddle版本:2.1.2
   2)CPU:Intel(R) Core(TM) i7-10700 CPU @ 2.90GHz 2.90 GHz
   3)GPU:NVIDIA GeForce RTX 2060 SUPER
   4)系统环境:Win10,Python 3.8.5

  • 问题描述:请详细描述您的问题,同步贴出报错信息、日志/代码关键片段

使用ernie_tiny进行NER任务,当模型推理完毕,使用.cpu()从GPU设备拷贝tensor到CPU设备, batch_size=512, 句子length=30, num_label=9时,.cpu()花费的时间约为0.17秒,拷贝速度比pytorch .cpu()要慢很多

  • 关键代码片段:

  • 输出信息片段:

gxwragnw

gxwragnw1#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看官网API文档常见问题历史IssueAI社区来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

k75qkfdt

k75qkfdt2#

hi, 调用.cpu的时候,前面的cuda kernel计算可能没有完成,所以你统计的时间是model计算+copy时间。

相关问题