你好!我正在尝试使用tflite对MobileNetV3进行量化,但是int8模型的性能非常差。我认为这是因为线性量化方法过于简单,不适合任何权重分布。我还能尝试什么?你们将来会支持对量化进行对数刻度吗?
n3schb8v1#
你可能想了解一下量化感知训练。
cbwuti442#
我认为没有,因为我训练了Pytorch模型,然后将它们转换为onnx和tflite。
siv3szwd3#
你好 @DaraOrange ,这个问题可以通过遵循不同的工作流程来解决。你尝试过使用 AI-Edge-Torch 吗?你可以在这里找到更多信息:googleblog 。我实际上在这里创建了一个简单的脚本,用于转换 CV 模型:
import torch import torchvision import ai_edge_torch mobilenet_model = torchvision.models.mobilenet_v3_small() sample_inputs = (torch.randn(1, 3, 224, 224),) edge_model = ai_edge_torch.convert(mobilenet_model.eval(), sample_inputs) edge_model.export("mobilenet_v3_small.tflite")
如果你愿意的话,你也可以尝试在 model-explorer 中可视化结果。请尝试一下,并告诉我们这是否解决了你的问题。如果你仍然需要进一步的帮助,请随时在相应的仓库中打开一个新的问题。
sxissh064#
我对于转换没有问题,但是量化后的结果很差。这个工具支持量化吗?
3phpmpom5#
我看到它只是封装了tflite量化器,并没有提供更复杂的量化方法。
suzh9iv86#
你好,DaraOrange。正确:这些是唯一可用的选项:https://www.tensorflow.org/lite/performance/model_optimization。你能为我们提供数据吗?"量化后的结果很差"。
ui7jx7zq7#
这个问题已经过期,因为它已经开放了7天,没有活动。如果没有进一步的活动发生,它将被关闭。谢谢。
7条答案
按热度按时间n3schb8v1#
你可能想了解一下量化感知训练。
cbwuti442#
我认为没有,因为我训练了Pytorch模型,然后将它们转换为onnx和tflite。
siv3szwd3#
你好 @DaraOrange ,这个问题可以通过遵循不同的工作流程来解决。
你尝试过使用 AI-Edge-Torch 吗?你可以在这里找到更多信息:googleblog 。
我实际上在这里创建了一个简单的脚本,用于转换 CV 模型:
如果你愿意的话,你也可以尝试在 model-explorer 中可视化结果。
请尝试一下,并告诉我们这是否解决了你的问题。如果你仍然需要进一步的帮助,请随时在相应的仓库中打开一个新的问题。
sxissh064#
我对于转换没有问题,但是量化后的结果很差。这个工具支持量化吗?
3phpmpom5#
我看到它只是封装了tflite量化器,并没有提供更复杂的量化方法。
suzh9iv86#
你好,DaraOrange。正确:这些是唯一可用的选项:https://www.tensorflow.org/lite/performance/model_optimization。你能为我们提供数据吗?"量化后的结果很差"。
ui7jx7zq7#
这个问题已经过期,因为它已经开放了7天,没有活动。如果没有进一步的活动发生,它将被关闭。谢谢。