在使用t_ocr.py和t_recognizer.py时，发现源码中默认使用CPU。后来改为使用GPU处理，但发现OCR模型和TSR模型的处理速度比使用CPU还慢(没有任何报错或警告出现，且GPU也有占用),但是layout模型正常。重复测试过很多PDF都是一样的问题。请问是什么原因？
以下是中文翻译：
在使用t_ocr.py和t_recognizer.py时，我发现源码中默认使用CPU。后来改为使用GPU处理，但发现OCR模型和TSR模型的处理速度比使用CPU还慢(没有任何报错或警告出现，且GPU也有占用),但是layout模型正常。我重复测试了很多PDF文件，都发现了同样的问题。请问这是什么原因？
6条答案
按热度按时间sy5wg1nm1#
这是一个ONNX模型。你可以尝试安装onnxruntime-gpu。
pkwftd7m2#
感谢你的回复！没太理解你的意思，能否具体一点了？我确实是安装的onnxruntime-gpu，所用的版本也是requirements.txt中对应的版本。Thank you for your reply! I didn't quite understand your meaning, could you be more specific? I did indeed install onnxruntime gpu, and the version used is also the corresponding version in requirements. txt.
lpwwtiir3#
解：目前只是修改了$ocr.py$和$recognizer.py$中的如图所示的代码，将"False and"删除以启用GPU推理，并在对应的providers中添加了"CPUExecutionProvider"。模型文件是从huggingface中下载的，其余代码并未改动，测试时使用t_ocr.py和t_recognizer.py,仅修改待解析的文件路径。
目前只修改了$ocr.py$和$recognizer.py$中如图所示的代码，去掉“False and”以启用GPU推理，并在相应的providers中添加“CPUExecutionProvider”。模型文件是从huggingface下载的，其余代码未更改，测试时使用t_ocr.py和t_recognizer.py,仅修改待解析的文件路径。
gudnpqoy4#
我在这里还没有找到其他解决方案。
也许你可以在谷歌上搜索一下。
8yparm6h5#
感谢回复！我看到微信群里有人和我是一样的情况，你的意思是你们本地测试是正常的吗？
Thank you for your reply! I saw someone in the WeChat group in the same situation as me. Do you mean that your local testing is normal?
ybzsozfc6#
感谢回复！我看到微信群里有人和我是一样的情况，你的意思是你们本地测试是正常的吗？ Thank you for your reply! I saw someone in the WeChat group in the same situation as me. Do you mean that your local testing is normal?
请问你有找到解决方法吗，即使提高了batch 我用GPU也是速度变慢了许多