paddle int8模式下会对bn进行融合吗,如果不融合tensorrt会最优化吗

7ivaypg9  于 9个月前  发布在  其他
关注(0)|答案(6)|浏览(84)

请提出你的问题 Please ask your question

z18hc3ub

z18hc3ub1#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看 官网API文档常见问题历史IssueAI社区 来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

2sbarzqh

2sbarzqh2#

pass阶段会把conv_bn_fuse_pass过滤掉,留给tensorrt自己做吗,tensorrt是如何做的

u4dcyp6a

u4dcyp6a3#

您好~这个是为了保证量化训练的精度做的一些判断,这个虽然在外部没有对conv+bn融合,但在trt内部是有融合的,不影响性能

zxlwwiss

zxlwwiss4#

您好~这个是为了保证量化训练的精度做的一些判断,这个虽然在外部没有对conv+bn融合,但在trt内部是有融合的,不影响性能

有没有文档我可以学习下的

nzkunb0c

nzkunb0c5#

hi, @marsbzp ,

抱歉,由于这部分功能是TensorRT内部的实现,且该部分代码TensorRT并未开源,建议可以尝试寻找一下TensorRT的相关文档。

5jdjgkvh

5jdjgkvh6#

hi, @marsbzp ,

抱歉,由于这部分功能是TensorRT内部的实现,且该部分代码TensorRT并未开源,建议可以尝试寻找一下TensorRT的相关文档。

我在看paddleslim在线量化代码没看到conv+bn进行fold得到新的卷积weight然后对新的weight进行量化反量化,你们是直接对原卷积核量化反量化的,最后把scale传给tensorrt,trt是先conv+bn融合再量化,还是先量化再融合呢,google那篇论文先conv bn fold再进行量化的

相关问题