Paddle GPU能否像CPU那样开启多进程预测,提高GPU利用率;批量预测,每次执行,GPU利用率最多10%

h7appiyu  于 2021-11-30  发布在  Java
关注(0)|答案(2)|浏览(845)

执行predict_system.py时,批量图片ocr识别,但GPU的利用率最高不超过10%;

如何提高GPU使用率?
单张图片测试0.3s;50个进程同时访问,平均耗时7s

GPU能否像CPU那样,开启多进程,充分利用GPU,降低平均耗时?请问有没有什么好的解决方案?

vuktfyat

vuktfyat1#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看官网API文档常见问题历史IssueAI社区来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

t9eec4r0

t9eec4r02#

您好,可以参考示例进行预测部署,有多种形式可供选择
https://paddle-inference.readthedocs.io/en/latest/quick_start/cpp_demo.html

相关问题