当pytorch模型中存在极大值和绝对值运算时，pytorch在反向传播过程中是如何实现这些运算的梯度下降的请详细回答，谢谢！
thtygnil1#
torch.abs仅在0处不可微，并且似乎pytorch在0x 1 e0f1x附近的某个区间[-epsilon，+epsilon]上实现了0导数。torch.max只是索引选择操作，其对于所选索引具有梯度1，而对于未选索引具有梯度0。
torch.abs
torch.max
1条答案
按热度按时间thtygnil1#
torch.abs仅在0处不可微，并且似乎pytorch在0x 1 e0f1x附近的某个区间[-epsilon，+epsilon]上实现了0导数。torch.max只是索引选择操作，其对于所选索引具有梯度1，而对于未选索引具有梯度0。