caffemodel为59m，量化后bin大小为15m，但是速度却由七秒增加到了11秒，推理结果相差不大，同为GPU模式
k5hmc34c1#
你好解决了吗？我也遇到耗时增加且不稳定的问题
gev0vcfq2#
https://zhuanlan.zhihu.com/p/370689914https://github.com/Tencent/ncnn/wiki/quantized-int8-inference20210507版本大幅优化int8推理速度并重写了量化工具，建议更新
2条答案
按热度按时间k5hmc34c1#
你好解决了吗？我也遇到耗时增加且不稳定的问题
gev0vcfq2#
https://zhuanlan.zhihu.com/p/370689914
https://github.com/Tencent/ncnn/wiki/quantized-int8-inference
20210507版本大幅优化int8推理速度并重写了量化工具，建议更新