我认为您提供的ONNX文件（即model.onnx）已损坏，我不知道问题是什么，但它没有对ONNX运行时进行任何推断。
现在您可以直接在移动的上运行PyTorch模型。查看PyTorch Mobile的文档here

**此答案适用于TensorFlow版本1，

对于TensorFlow版本2或更高版本，请单击链接**
将模型从protobuf freezeGraph转换为TFlite的最佳方法是使用官方TensorFlow lite转换器文档
根据TensorFlow Docs，TocoConverter已被弃用
此类（tf.compat.v1.lite.TocoConverter）已被弃用。请改用lite.TFLiteConverter。

从PyTorch转换为ONNX型号

将模型从Pytorch转换为Onnx的最佳做法是，您应添加以下参数，以在**torch.onnx.export（）**函数中指定模型的输入和输出图层的名称

# Export the model from PyTorch to ONNX

torch_out = torch.onnx._export(model,             # model being run
                                x,          # model input (or a tuple for multiple inputs)
                                EXPORT_PATH + "mnist.onnx",      # where to save the model (can be a file or file-like object)
                                export_params=True,       # store the trained parameter weights inside the model file
                                input_names=['main_input'],     # specify the name of input layer in onnx model
                                output_names=['main_output'])     # specify the name of input layer in onnx model

因此，在您的情况下：现在使用onnx-tf将此模型导出到TensorFlow protobuf FreezeGraph
请注意，此方法仅在tensorflow_version〈2时有效

从ONNX转换为TensorFlow冻结图

要转换模型，请通过以下命令安装onnx-tf版本1.5.0

pip install  onnx-tf==1.5.0

现在，要将.onnx模型转换为TensorFlow冻结图，请在shell中运行以下命令

onnx-tf convert -i "mnist.onnx" -o  "mnist.pb"

从TensorFlow冻结图.pb转换为TF

现在，使用以下代码将此模型从.pb文件转换为tflite模型

import tensorflow as tf

# make a converter object from the saved tensorflow file

converter = tf.lite.TFLiteConverter.from_frozen_graph('mnist.pb', #TensorFlow freezegraph .pb model file
                                                      input_arrays=['main_input'], # name of input arrays as defined in torch.onnx.export function before.
                                                      output_arrays=['main_output']  # name of output arrays defined in torch.onnx.export function before.
                                                      )

# tell converter which type of optimization techniques to use

converter.optimizations = [tf.lite.Optimize.DEFAULT]

# to view the best option for optimization read documentation of tflite about optimization

# go to this link https://www.tensorflow.org/lite/guide/get_started#4_optimize_your_model_optional

# convert the model

tf_lite_model = converter.convert()

# save the converted model

open('mnist.tflite', 'wb').write(tf_lite_model)

要选择最适合您的模型用例优化的选项，请参阅有关TensorFlow lite优化的官方指南
https://www.tensorflow.org/lite/guide/get_started#4_optimize_your_model_optional
注意：您可以尝试我的Jupyter笔记本将ONNX模型转换为Tensorflow Lite在谷歌协作链接

现在您可以直接在移动的上运行PyTorch模型。查看PyTorch Mobile的文档here

**此答案适用于TensorFlow版本2或更高版本，

如需了解TensorFlow版本1，请单击此处**
将模型从protobuf freezeGraph转换为TFlite的最佳方法是使用官方TensorFlow lite转换器文档
根据TensorFlow Docs，TocoConverter已被弃用
此类（tf.compat.v1.lite.TocoConverter）已被弃用。请改用lite.TFLiteConverter。

从PyTorch转换为ONNX型号

# Export the model from PyTorch to ONNX

torch_out = torch.onnx.export(model,             # model being run
                                x,          # model input (or a tuple for multiple inputs)
                                EXPORT_PATH + "mnist.onnx",      # where to save the model (can be a file or file-like object)
                                export_params=True,       # store the trained parameter weights inside the model file
)

因此，在您的情况下：现在使用onnx-tf将此模型导出到TensorFlow protobuf FreezeGraph

从ONNX转换为TensorFlow冻结图

要转换模型，请使用以下命令安装onnx-tf

git clone https://github.com/onnx/onnx-tensorflow.git && cd onnx-tensorflow
pip install -e .

现在，要将.onnx模型转换为TensorFlow冻结图，请在shell中运行以下命令

onnx-tf convert -i "mnist.onnx" -o  "mnist.pb"

从TensorFlow冻结图.pb转换为TF

现在，使用以下代码将此模型从.pb文件转换为tflite模型

import tensorflow as tf

# make a converter object from the saved tensorflow file

converter = tf.lite.TFLiteConverter.from_saved_model('mnist.pb')

# tell converter which type of optimization techniques to use

converter.optimizations = [tf.lite.Optimize.DEFAULT]

# to view the best option for optimization read documentation of tflite about optimization

# go to this link https://www.tensorflow.org/lite/guide/get_started#4_optimize_your_model_optional

# convert the model

tf_lite_model = converter.convert()

# save the converted model

open('mnist.tflite', 'wb').write(tf_lite_model)

要选择最适合您的模型用例优化的选项，请参阅有关TensorFlow lite优化的官方指南
https://www.tensorflow.org/lite/guide/get_started#4_optimize_your_model_optional

在Google协作中：
第一个