我想使用具有合理精度的4位量化CNN模型。然而，当我尝试自己对网络进行建模时，我获得了显著的精度降低。有人知道是否存在可用的tensorflow/keras或ONNX格式的CNN量化4位模型吗？
xkftehaa1#
论文Banner, R., Nahshan, Y., & Soudry, D. (2019). Post training 4-bit quantization of convolutional networks for rapid-deployment. Advances in Neural Information Processing Systems, 32.对CNN模型（如ResNet50）进行了有效的4位量化。他们还提供了一个代码库，您可以在GitHub上找到。一旦你得到代码并运行，你应该能够导出你选择的量化模型到ONNX格式。（这在机器学习领域是相当古老的）。可能会有一个更新的论文，也带有一个代码库。因为我提到的论文很受欢迎。（>500次引用），任何更新的方法都可能引用这篇文章;因此，您可以查看Google Scholar，看看是否有任何更新的量化文章基于上述论文。
Banner, R., Nahshan, Y., & Soudry, D. (2019). Post training 4-bit quantization of convolutional networks for rapid-deployment. Advances in Neural Information Processing Systems, 32.
ResNet50
Google Scholar
1条答案
按热度按时间xkftehaa1#
论文
Banner, R., Nahshan, Y., & Soudry, D. (2019). Post training 4-bit quantization of convolutional networks for rapid-deployment. Advances in Neural Information Processing Systems, 32.对CNN模型（如ResNet50）进行了有效的4位量化。他们还提供了一个代码库，您可以在GitHub上找到。一旦你得到代码并运行，你应该能够导出你选择的量化模型到ONNX格式。（这在机器学习领域是相当古老的）。可能会有一个更新的论文，也带有一个代码库。因为我提到的论文很受欢迎。（>500次引用），任何更新的方法都可能引用这篇文章;因此，您可以查看
Google Scholar，看看是否有任何更新的量化文章基于上述论文。