我目前正在尝试使用pytorch 2.0来提高我的项目的训练性能。我听说torch.compile可能会提升一些模型。
所以我的问题（目前）很简单;我应该如何使用torch. compiler与大型模型？
比如，我应该用这样的手电筒吗？

class BigModel(nn.Module):
    def __init__(self, ...):
        super(BigModel, self).__init__()
        self.model = nn.Sequential(
            SmallBlock(), 
            SmallBlock(), 
            SmallBlock(), 
            ...
        )
        ...

class SmallBlock(nn.Module):
    def __init__(self, ...):
        super(SmallBlock, self).__init__()
        self.model = nn.Sequential(
            ...some small model...
        )

model = BigModel()
model_opt = torch.compile(model)

，还是像这样？

class BigModel(nn.Module):
    def __init__(self, ...):
        super(BigModel, self).__init__()
        self.model = nn.Sequential(
            SmallBlock(), 
            SmallBlock(), 
            SmallBlock(), 
            ...
        )
        ...

class SmallBlock(nn.Module):
    def __init__(self, ...):
        super(SmallBlock, self).__init__()
        self.model = nn.Sequential(
            ...some small model...
        )
        self.model = torch.compile(self.model)

model = BigModel()
model_opt = torch.compile(model)

作为总结，
1.是否应该编译每一层？或者torch.compile会自动执行吗？
1.有没有正确使用torch.compile的提示？
老实说，我都试过了，但没有区别。
而且，它并没有显着加快，我只是检查了我的模型的加速率只有大约5 ~ 10%。