pytorch 如何通过删除Tensor释放gpu内存？

y3bcpkx1 于 2023-10-20 发布在其他

关注(0)|答案(2)|浏览(299)

假设我创建了一个Tensor并将其放在GPU上，以后不需要它，并希望释放分配给它的GPU内存;我该怎么做？

import torch
a=torch.randn(3,4).cuda() # nvidia-smi shows that some mem has been allocated.
# do something
# a does not exist and nvidia-smi shows that mem has been freed.

我试过：

del a
del a; torch.cuda.empty_cache()
但都不管用。

pytorch

来源：https://stackoverflow.com/questions/55788093/how-to-free-gpu-memory-by-deleting-tensors

2条答案

按热度按时间

deyfvvtc1#

运行del tensor会从GPU释放内存，但不会将其返回到设备，这就是为什么内存仍然显示为在nvidia-smi上使用。你可以创建一个新的Tensor，这将重用内存。

来源

https://discuss.pytorch.org/t/how-to-delete-pytorch-objects-correctly-from-memory/947 https://discuss.pytorch.org/t/about-torch-cuda-empty-cache/34232

赞(0）回复(0）举报 2023-10-20

2sbarzqh2#

您可以使用tensor执行以下操作：

tensor.detach()
tensor.grad = None
tensor.storage().resize_(0)

赞(0）回复(0）举报 2023-10-20

我来回答

pytorch 如何通过删除Tensor释放gpu内存？

2条答案

来源

相关问题

热门标签

最新问答