tensorflow 如何提高飞机Flutter性能

hgqdbh6s  于 2023-01-21  发布在  Flutter
关注(0)|答案(1)|浏览(116)

我在应用程序中使用tflite_flutter

  • Dog Detector,如果相机视图中有狗,则返回Rect
  • 狗分类器,它使用矩形裁剪图像并返回品种。

都是用tflite_flutter的,在我的三星Galaxy S10 e上每个都需要50 - 70毫秒,我想提高性能,我试过了

  • 改变线程的数量
  • 正在使用.. useNnApiForAndroid =真
  • 在安装. bat-d之后使用.. addDelegate(gpuDelegateV 2)和.. addDelegate(NnApiDelegate()
  • 隔离运行检测器

什么都帮不上忙。我还能试什么?有什么主意吗?

xzabzqsa

xzabzqsa1#

精简操作的推理/延迟取决于多个因素,如委托兼容性、制造商是否启用了委托等。
加入较少的因素来优化模型以获得低延迟和高推理时间。

    • 1.量化和代理兼容性:**例如,GPU三角形门支持所有范围的量化,但六边形代理与整数和量化感知模式更兼容l
    • 2.**模型内部层的GPU兼容性。****默认情况下,GPU委托不支持所有操作,因此您必须放置备用API以使用GPU委托。例如,不支持leakyrelu,但GPU支持relu。

您可以使用model_analyzer检查精简模型的GPU兼容性,推理时间取决于模型如何有效地利用GPU/NNAPI/其他代理。您可以使用Benchamarking apk检查精简模型在不同代理下的性能,通过禁用可疑层的量化来相应地优化模型。

    • 3.用户序列化和设备上训练:**您可以使用serialization/on device training**来减少预热时间或改进推理时间。
    • 4.推理期间相同的输入形状:**

请确保在推断过程中使用与精简模型输入相同的输入形状,以避免尺寸不匹配问题。
谢谢大家!

相关问题