logo

Transformer注意力反向传播教程

作者:da吃一鲸8862026.11.18 11:24浏览量:0

简介:很多教程只讲Q、K、V前向公式,却跳过反向传播,导致读者仍无法理解Transformer如何学习。本教程以计算图为线索,系统梳理softmax雅可比、注意力矩阵梯度、Q/K/V/O权重梯度累加与数值验证方法,帮助开发者建立可推导、可排查的训练调试能力。适合已了解基础神经网络、希望吃透注意力机制的开发者。

Transformer注意力反向传播教程

一、教程目标

本教程要帮助读者完成一个明确任务:从“只会计算Transformer前向输出”进阶到“能够推导并验证Transformer注意力模块的反向传播”。具体来说,你需要能够回答以下问题:

  1. softmax是否可导?它的反向梯度为什么不能简单写成逐元素相乘?
  2. 注意力矩阵 A 上的梯度如何回传到打分矩阵 S?
  3. W_Q、W_K、W_V、W_O 各自收到什么梯度?
  4. 参数在序列位置上共享时,梯度为什么要累加?如何累加?
  5. 如何用数值梯度检查验证自己的推导和实现是否正确?

很多资料只讲了 y = Wx + b,然后告诉你“模型会自动学习W”。这相当于只讲了一半。Transformer并没有发明新的学习规则,它仍然使用链式法则;真正让人卡住的是参数矩阵化共享、softmax雅可比稠密、注意力矩阵梯度传播这三处反直觉点。本教程围绕这些点展开。

二、适用场景

本教程适合以下读者和场景:

  • 已经了解全连接网络、损失函数、反向传播基本概念,但希望真正吃透Transformer的开发者;
  • 正在实现或调试注意力模块,发现梯度异常、训练不收敛、mask失效等问题的工程师;
  • 需要向团队讲解Transformer训练机制的技术负责人;
  • 希望从“会调包”走向“能推导、能排查”的算法与工程人员。

三、前置准备

开始前,你需要具备以下基础:

  • 矩阵乘法、转置、逐元素乘法的基本运算能力;
  • 链式法则和计算图的基本概念;
  • softmax函数、交叉熵损失的常见定义;
  • 任意支持张量计算和自动微分的通用开发环境,用于做小规模数值验证;
  • 纸笔或白板,用于画出前向计算图。

本教程不依赖特定品牌工具或平台,示例使用通用张量伪代码和数学符号表达。

四、实施步骤

步骤1:画出完整前向计算图

先不要急着写反向代码,第一步是把前向传播画成计算图。设输入序列表示为 X,形状为 [T, d],其中 T 是序列长度,d 是隐藏维度。注意力模块的典型前向过程为:

  1. Q = X * W_Q
  2. K = X * W_K
  3. V = X * W_V
  4. S = Q * K^T / sqrt(d_k)
  5. A = softmax(S, axis=行方向)
  6. O = A * V
  7. Y = O * W_O
  8. L = loss(Y, target)

其中 W_Q、W_K、W_V、W_O 都是可学习矩阵,并且被序列中所有位置共享。softmax 按行进行,也就是每个Query位置独立归一化。

这一步的作用是建立参数地图。你必须清楚每个张量的形状和依赖关系,否则反向传播时很容易把转置方向写错。注意:S 和 A 都是 [T, T] 矩阵;O 是 [T, d_v];W_O 将 O 映射回输出维度。

步骤2:从损失开始逐层反传

反向传播的顺序与前向相反。先计算输出层梯度,再逐步回传到注意力矩阵、打分矩阵和Q/K/V。

  1. dY = dL / dY
  2. dW_O = O^T * dY
  3. dO = dY * W_O^T
  4. dV = A^T * dO
  5. dA = dO * V^T
  6. dS = softmax_backward(A, dA)
  7. dQ = dS * K / sqrt(d_k)
  8. dK = dS^T * Q / sqrt(d_k)
  9. dW_Q = X^T * dQ
  10. dW_K = X^T * dK
  11. dW_V = X^T * dV

这里的关键是理解每一步“为什么这样转置”。以 dW_O = O^T * dY 为例,前向是 Y = O * W_O,根据矩阵求导,权重梯度等于输入转置乘以输出梯度。X^T * dQ 同理,而且这个矩阵乘法天然对 T 个位置做了求和,因此共享参数的梯度自动累加。若你的实现是逐位置循环处理,则必须手动把各位置的梯度相加,否则会漏掉大部分梯度。

步骤3:推导softmax反向传播

这是全篇最关键的一步。softmax不是不可导,而是它的雅可比矩阵是一个稠密方阵。对一行输入 s,输出 a = softmax(s),其雅可比元素为:

  1. J[i, j] = a[i] * (delta(i, j) - a[j])

因此反向传播不能写成 dS = dA * A 这种逐元素形式。正确的高效写法是:

  1. row_sum = sum(dA * A, axis=行方向, keepdims=True)
  2. dS = A * (dA - row_sum)

为什么?因为 softmax 的每个输出都依赖同一行的所有输入,一个输出变化会影响同行所有输出。row_sum 项正是对这种耦合的修正。一个很好的自检是:如果 dA 全为1,那么 dS 应该全为0,因为softmax输出之和恒为1,沿全1方向没有变化。若你的实现不满足这个性质,基本可以确定softmax反向写错了。

步骤4:处理注意力矩阵梯度和mask

dA = dO * V^T 得到注意力矩阵上的梯度,形状为 [T, T]。它表示每个Query行对每个Key位置的敏感度。随后通过softmax反向得到 dS。如果使用了因果mask,前向时通常会在softmax前将未来位置置为负无穷,使对应注意力概率为0。反向时这些位置的梯度路径应被切断,因此需要将mask位置的 dS 置零:

  1. dS = dS * mask

注意:mask不能只在前向加而忘记反向处理。常见错误是前向概率正确,但反向时未来位置仍然收到梯度,导致训练行为异常。排查时可以打印mask位置上的 A 和 dS,确认它们是否都为0。

步骤5:计算Q/K/V权重梯度并累加

得到 dS 后:

  1. dQ = dS * K / sqrt(d_k)
  2. dK = dS^T * Q / sqrt(d_k)
  3. dW_Q = X^T * dQ
  4. dW_K = X^T * dK
  5. dW_V = X^T * dV

这里有两个容易错的地方。第一,缩放因子 sqrt(d_k) 在打分处,所以 dQ 和 dK 都要除以它。第二,X^T * dQ 已经对序列位置求和,这正是共享参数梯度累加的表现。如果你把每个位置的 x_t^T * dq_t 单独算出来,必须再相加。否则每个位置都会覆盖前一个位置的梯度。

步骤6:用数值梯度检查验证

选一个很小的规模,例如 T=3、d=4,随机初始化参数,分别计算解析梯度和数值梯度。数值梯度使用中心差分:

  1. for each parameter element p:
  2. loss_plus = forward(p + eps)
  3. loss_minus = forward(p - eps)
  4. numeric_grad = (loss_plus - loss_minus) / (2 * eps)
  5. compare numeric_grad with analytic_grad

重点检查:W_Q、W_K、W_V、W_O 的梯度;softmax反向的零和性质;mask位置梯度是否为0;共享参数梯度是否等于各位置梯度之和。相对误差在合理范围内即可认为实现正确。注意softmax前要减去行最大值以保证数值稳定。

五、常见问题与排查

  1. softmax反向写成逐元素相乘:症状是梯度方向错误、训练不稳定。改用 A * (dA - row_sum)。
  2. 忘记除以 sqrt(d_k):症状是梯度尺度异常,数值检查不通过。
  3. mask反向未置零:症状是因果注意力仍能“看到未来”。检查 dS 的mask位置。
  4. 共享参数逐位置覆盖而非累加:症状是梯度偏小。确认使用矩阵乘法或手动累加。
  5. softmax数值溢出:前向减行最大值,混合精度时对softmax使用更高精度。
  6. 注意力行和不为1:检查softmax轴方向是否按行。

六、优化建议

  • 不要显式构造softmax雅可比矩阵,使用行和修正公式即可;
  • 对mask使用加法负无穷而非乘法,保持数学等价和梯度路径清晰;
  • 使用梯度裁剪和稳定的softmax实现提升训练稳定性;
  • 小规模数值检查应作为注意力模块的单元测试保留;
  • 在性能优化时,可关注softmax反向的融合计算和显存占用,但先保证数学正确。

七、总结

理解Transformer的关键不是再背一遍Q、K、V公式,而是补齐反向传播这一半。本教程从计算图出发,依次梳理了输出层梯度、softmax雅可比、注意力矩阵梯度、Q/K/V权重梯度累加和数值验证方法。只要你能独立推导并在小规模上验证这些梯度,Transformer就不再是“看起来会算、实际上不懂”的黑盒。后续可以继续关注多头注意力中每个头的梯度汇总、残差连接和层归一化对梯度传播的影响。

发表评论

活动