PyTorch：释放GPU内存的技巧

pytorch清空gpu里的tensor pytorch减少显存
PyTorch是一个流行的深度学习框架，它支持GPU加速，以提升模型训练和推理的性能。然而，当我们在使用PyTorch进行深度学习任务时，可能会遇到显存不足的问题。这通常是因为GPU中存储了大量的Tensor数据。为了解决这个问题，我们可以采取一些方法来清空GPU中的Tensor，以及减少显存的使用。
清空GPU里的Tensor
在PyTorch中，我们可以通过以下方式来清空GPU中的Tensor：

1. 使用torch.cuda.empty_cache()：这个函数可以清理当前未使用的缓存，从而释放一些GPU内存。但需要注意的是，这个函数并不会释放Tensor占用的GPU内存。
2. 删除不再使用的变量并手动调用垃圾收集：例如，如果你有一个大的Tensor不再需要，你可以删除它，并使用Python的垃圾收集器收集它。

   del large_tensor
   import gc
   gc.collect()

3. 使用 .cpu() 将Tensor移到CPU：如果你确定某个Tensor不再需要，你可以使用 .cpu() 方法将它从GPU移到CPU，从而释放GPU内存。

   large_tensor = large_tensor.cpu()

   PyTorch减少显存
   除了清空Tensor，我们还可以通过以下方式来减少PyTorch中的显存使用：
4. 使用更小的batch size：batch size是影响显存使用的一个重要因素。减小batch size可以显著降低显存的使用量，但可能会影响模型的训练效果。
5. 使用更小的数据类型：例如，你可以使用torch.float32代替torch.float64。这可以减少每个Tensor的数据量，从而降低显存的使用。
6. 数据并行：如果你有多个GPU，你可以使用 torch.nn.DataParallel 来在所有GPU上并行运行你的模型。这可以减少每个GPU上的显存使用。
7. 使用梯度累积：梯度累积是一种在减少batch size的情况下，降低显存使用并保持模型性能的技术。基本思想是在每次更新参数之前，先累积梯度，然后在多个小批量上累积梯度，最后一次性更新参数。
8. 使用混合精度训练：混合精度训练是指同时使用32位浮点数（例如torch.float32）和16位浮点数（例如torch.float16）进行训练。这可以减少显存的使用，特别是在那些支持16位浮点数运算的GPU上。
9. 使用梯度检查点（Gradient Checkpointing）：对于一些深层或复杂的网络，特别是使用自定义层或复杂操作的网络，使用梯度检查点可以减少显存的使用。基本思想是在前向传播过程中保存一些中间状态的副本，然后在反向传播时使用这些副本来计算梯度。这可以避免在反向传播过程中重新计算这些状态，从而减少显存的使用。
10. 使用更有效的数据结构：例如，尽可能使用torch.utils.checkpoint来避免存储和计算梯度检查点中的中间结果。这可以减少显存的使用。
11. 优化你的模型：过大的模型是导致显存过大的常见原因之一。优化你的模型结构，例如使用更有效的层和结构，可以显著降低显存的使用。
12. 使用梯度下降优化器（例如 Adam 或 RMSprop）：这些优化器通常比随机梯度下降（SGD）等简单的优化器更高效地使用显存。它们可以在每次更新参数时存储并重用梯度，而不是像SGD一样在每个小批量上都重新计算梯度。
13. 手动清理不再需要的缓存和Tensor：就像前面提到的那样，你可以使用 torch.cuda.empty_cache() 来清理不再使用的缓存，以及删除并手动收集不再需要的Tensor。