PyTorch学习率与梯度查看方法

PyTorch是一个强大的深度学习框架，它提供了许多工具和功能来帮助我们训练模型。在训练模型的过程中，了解学习率和梯度的信息是非常重要的。下面我们将介绍如何在PyTorch中查看这些信息。
查看当前学习率
PyTorch提供了多种方法来查看当前的学习率。一种常见的方法是使用优化器对象的get_lr()方法。例如，如果你使用的是Adam优化器，你可以通过以下方式查看当前学习率：

optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
print(optimizer.param_groups[0]['lr']) # 输出当前学习率

在这个例子中，我们首先创建了一个Adam优化器对象，并将其存储在optimizer变量中。然后，我们打印出优化器参数组中的学习率值。请注意，这个值可能会随着训练的进行而发生变化，因为优化器通常会在训练过程中自动调整学习率。
使用requires_grad属性
在PyTorch中，每个tensor都有一个名为requires_grad的属性。这个属性决定了是否需要计算该tensor的梯度。如果你将requires_grad设置为True，PyTorch将会自动计算该tensor的梯度。这对于在训练神经网络时计算损失函数的梯度非常有用。例如：

x = torch.tensor([1., 2., 3.], requires_grad=True)
y = x * 2
z = y * y * 3
out = z.mean()
out.backward() # 反向传播计算梯度
print(x.grad) # 输出x的梯度

在这个例子中，我们首先创建了一个requires_grad属性为True的tensor x，然后通过一系列操作计算了out的值。最后，我们调用out的backward()方法来计算并存储所有需要计算梯度的tensors的梯度。我们可以通过调用x.grad来获取x的梯度。
查看模型权重和参数值
如果你想查看模型的权重和参数值，可以使用模型的named_parameters()方法。这个方法会返回一个生成器，它按名称生成模型中的每个参数。你可以通过遍历这个生成器来查看每个参数的名称和值。例如：

m = torch.nn.Linear(10, 10)
for name, param in m.named_parameters():
print(name, param)

在这个例子中，我们创建了一个简单的线性模型m，并使用named_parameters()方法遍历了模型中的所有参数。我们通过打印每个参数的名称和值来查看它们的值。
查看模型权重梯度值
如果你想查看模型权重梯度的值，可以使用模型的zero_grad()方法将梯度归零，然后再次调用backward()方法来计算新的梯度。例如：

m = torch.nn.Linear(10, 10)
data = torch.randn(5, 10)
loss = m(data).sum()
loss.backward() # 计算梯度
m.zero_grad() # 将梯度归零
loss = m(data).sum()
loss.backward() # 重新计算梯度
grads = m.weight.grad # 获取权重梯度值

在这个例子中，我们首先创建了一个简单的线性模型m和一个随机的数据集data。然后，我们计算了模型输出和损失函数的值，并使用backward()方法计算了权重的梯度。接着，我们使用zero_grad()方法将梯度归零，再次计算损失函数的值并使用backward()方法重新计算梯度。最后，我们通过m.weight.grad获取了权重的梯度值。