我需要去除神经网络中接近零的权值，使参数的分布远离零点。去除近零权值后的权值分布及权值缩放我遇到了这篇论文的问题：https://ieeexplore.ieee.org/document/7544366我想知道如何在pytorch/tensorflow程序中实现这一点，比如使用定制的激活层？或者定义一个损失函数来惩罚接近零的重量？如果你能提供任何帮助，谢谢你。
icomxhvb1#
你在找l1正则化，看看文件。
import tensorflow as tf tf.keras.layers.Dense(units=128, kernel_regularizer=tf.keras.regularizers.L1(.1))
较小的系数将变为零。
1条答案
按热度按时间icomxhvb1#
你在找l1正则化，看看文件。
较小的系数将变为零。