我在应用程序中使用tflite_flutter
- Dog Detector,如果相机视图中有狗,则返回Rect
- 狗分类器,它使用矩形裁剪图像并返回品种。
都是用tflite_flutter的,在我的三星Galaxy S10 e上每个都需要50 - 70毫秒,我想提高性能,我试过了
- 改变线程的数量
- 正在使用.. useNnApiForAndroid =真
- 在安装. bat-d之后使用.. addDelegate(gpuDelegateV 2)和.. addDelegate(NnApiDelegate()
- 隔离运行检测器
什么都帮不上忙。我还能试什么?有什么主意吗?
1条答案
按热度按时间xzabzqsa1#
精简操作的推理/延迟取决于多个因素,如委托兼容性、制造商是否启用了委托等。
加入较少的因素来优化模型以获得低延迟和高推理时间。
您可以使用model_analyzer检查精简模型的GPU兼容性,推理时间取决于模型如何有效地利用GPU/NNAPI/其他代理。您可以使用Benchamarking apk检查精简模型在不同代理下的性能,通过禁用可疑层的量化来相应地优化模型。
请确保在推断过程中使用与精简模型输入相同的输入形状,以避免尺寸不匹配问题。
谢谢大家!