Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API ， FAQ ， Github Issue and AI community to get the answer.Have a nice day!
6条答案
按热度按时间q9rjltbz1#
您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看 官网API文档 、 常见问题 、 历史Issue 、 AI社区 来寻求解答。祝您生活愉快～
Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API ， FAQ ， Github Issue and AI community to get the answer.Have a nice day!
ngynwnxp2#
请提出你的问题 Please ask your question
Paddle_inference int8 trt推理占的显存比fp32 trt推理占的要多能解释下吗！ Paddle_inference int8 trt推理占的显存比fp32 trt推理占的要多能解释下吗！ Paddle_inference int8 trt推理占的显存比fp32 trt推理占的要多能解释下吗！
int8 推理速度会比 fp32 有优势，但是 TensorRT 内部会保存 int8 和 fp32 两份参数，所以显存占用会更多一些。
q5lcpyga3#
根据我的经验，有一种可能是Int8推理的时候trt选择的部分tactic source比如caskConvolution在trt8.2以前的实现上会有些问题导致会有些persistence memory无法释放，你可以试一下最新的trt8.4。
ktecyv1j4#
这个有定量测试的截图吗？会多多少呢？不管是 int8 还是 fp32 ，目前 paddle-trt 加载的权重都是fp32，所以显存不会差太多
0aydgbwb5#
根据我的经验，有一种可能是Int8推理的时候trt选择的部分tactic source比如caskConvolution在trt8.2以前的实现上会有些问题导致会有些persistence memory无法释放，你可以试一下最新的trt8.4。
要最新的tensorrt才能体现出int8显存占用变少，速度变快吗，我用的tensorrt6.0的推理库，模型是paddleocr res18主干的dbnet，这个很容易复现，我之前也试过yolo的检测模型int8也是显存增大，按理说像dbnet几乎所有的算子转换为了trt，需要保存的中间张量很少了，显存为什么会增大呢，你们没相关的测试结论吗，关于显存占用的
puruo6ea6#
这个有定量测试的截图吗？会多多少呢？不管是 int8 还是 fp32 ，目前 paddle-trt 加载的权重都是fp32，所以显存不会差太多
这个很容易复现的拿个检测测下，子图转tensorrt以后子图的权重不会申请显存吧，子图的输入输出张量才保存下，我用dbnet几乎所有节点都被trt支持了吧，int8显存不降反增的，速度的话int8比trt-fp32也没有太大优势了