如何实现对神经网络中接近零的参数的去除/剪枝?

13z8s7eq  于 2021-07-14  发布在  Java
关注(0)|答案(1)|浏览(365)

我需要去除神经网络中接近零的权值,使参数的分布远离零点。去除近零权值后的权值分布及权值缩放
我遇到了这篇论文的问题:https://ieeexplore.ieee.org/document/7544366
我想知道如何在pytorch/tensorflow程序中实现这一点,比如使用定制的激活层?或者定义一个损失函数来惩罚接近零的重量?
如果你能提供任何帮助,谢谢你。

icomxhvb

icomxhvb1#

你在找l1正则化,看看文件。

import tensorflow as tf

tf.keras.layers.Dense(units=128,
                      kernel_regularizer=tf.keras.regularizers.L1(.1))

较小的系数将变为零。

相关问题