默认情况下，作为某些计算结果的PyTorchTensor记录了它们的历史，即它们的祖先。这是向后传递计算梯度所需的。
我们可以利用这一点，通过遍历整个历史，找到所有对一些新Tensor有贡献的Tensor。
请注意，这适用于始终具有相同架构的静态网络。只要你有条件句，例如。依赖于一些中间值，这是行不通的，我认为在这种情况下，不可能提前找到Tensor。（这与停机问题类似。）

import torch
import torch.nn as nn
# Example of a simple network
class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.x = nn.Parameter(torch.tensor([999999.0]))  # not contributing
        self.layers = nn.ModuleList([nn.Sequential(nn.Linear(1, 4), nn.Linear(4, 1)) for _ in range(3)])
    def forward(self, x):
        for m in self.layers: x = m(x) + x
        return x

net = Net()
x = torch.ones((1, 1))
# compute the forward pass to create the computation graph
y = net(x)

# use computation graph to find all contributing tensors
def get_contributing_params(y, top_level=True):
    nf = y.grad_fn.next_functions if top_level else y.next_functions
    for f, _ in nf:
        try:
            yield f.variable
        except AttributeError:
            pass  # node has no tensor
        if f is not None:
            yield from get_contributing_params(f, top_level=False)

contributing_parameters = set(get_contributing_params(y))
all_parameters = set(net.parameters())
non_contributing = all_parameters - contributing_parameters
print(non_contributing)  # returns the [999999.0] tensor

是的，渐变的旋转不起作用。如果不使用这些层，如何动态删除它们。例如，在逐渐增长的鉴别器中。