logo

Transformer反向传播机制是什么

作者:rousong2026.11.18 11:52浏览量:0

简介:本文从定义出发解释Transformer反向传播机制:它沿用链式法则,却因权重矩阵跨位置共享、softmax雅可比稠密以及大量无参数结构而显得反直觉。读者将厘清Q/K/V与输出投影各自收到什么梯度、注意力梯度如何回传,并建立可训练参数地图,从而把“会前向计算”推进到“理解模型如何学习”。

概念定义:Transformer反向传播是什么

Transformer反向传播机制,是指在训练Transformer模型时,根据损失函数计算出的误差,沿着前向计算图反向传递梯度,并据此更新词嵌入矩阵、Q/K/V投影矩阵、输出投影矩阵以及归一化层中可学习仿射参数等可训练参数的过程。

它并不是一套独立于神经网络之外的新学习规则。Transformer仍然使用链式法则,仍然由优化器根据梯度更新参数。它之所以让许多读者觉得“难以理解”,通常不是因为前向传播中的Q、K、V公式本身有多复杂,而是因为主流资料往往只讲“输入如何一步步算出输出”,却很少讲“损失如何一步步传回去”。只看到前向计算,就像只看到 y = Wx + b,却被告知“模型会自动学习W”,中间缺少的正是反向传播这一半。

因此,理解Transformer反向传播,关键不是再背一遍注意力公式,而是建立一张参数地图:哪些结构含可训练参数,哪些不含;梯度从哪些分支来;共享矩阵如何累加梯度;softmax、mask、缩放、残差和归一化如何改变梯度流。

为什么重要:会前向不等于理解模型学习

前向传播回答的是“给定参数,模型输出什么”;反向传播回答的是“输出错了以后,参数如何改变”。一个Transformer块中,真正参与学习的参数并不是散落在每个神经元上的一对W和b,而是若干被序列中所有位置共享的矩阵。例如Q、K、V投影矩阵和输出投影矩阵,通常都是 d×d 的矩阵,被同一层内所有位置共同使用。

这带来一个反直觉点:同一个权重矩阵会在多个位置被重复使用,因此反向传播时,每个位置都会产生一份关于该矩阵的梯度贡献,最终必须把这些贡献累加起来,而不是用最后一个位置的梯度覆盖前面的结果。若忽略这一点,就很难理解为什么序列长度、批次大小和掩码会改变参数更新。

另一个关键点是softmax。softmax本身是可导的,并不是“不可导层”。但它的导数不是一个简单的标量,而是一个稠密雅可比矩阵。注意力矩阵中每个输出元素都依赖该行所有输入分数,因此梯度回传时会发生跨位置耦合。这是Transformer反向传播中最容易被跳过、也最值得单独理解的一步。

核心组成:一张可训练参数地图

可以把一个Transformer块中的结构分为“有可训练参数”和“无可训练参数但影响梯度流”两类。前者是反向传播的更新目标,后者是梯度传递路径上的关键节点。

组件 是否有可训练参数 反向传播时发生什么
词嵌入矩阵 有,词表大小×d 只有被当前批次用到的词行收到梯度,其余行梯度为零;同一词多次出现时梯度累加
W_Q、W_K、W_V 有,各d×d 分别接收来自Q、K、V分支的梯度;由于所有位置共享,各位置贡献相加
W_O输出投影 有,d×d 梯度来源相对单一,来自注意力输出拼接后的投影分支
缩放系数 1/√d_k 无,常数 不更新参数,但会按比例缩放继续向下传递的梯度
softmax 无 梯度经过稠密雅可比矩阵回传,是注意力反向传播的难点
mask 无 不更新参数,但会阻断被屏蔽位置的梯度;填充位或未来位通常不参与有效梯度
残差连接 无 提供梯度直通路径,使梯度可以绕过子层直接回传
LayerNorm归一化统计量 无 均值、方差等统计量不含可训练参数,但梯度会经统计量耦合到同一样本的其他维度
LayerNorm仿射参数 若启用则有 缩放和偏移参数可学习,需按正常参数接收梯度

这张表的意义在于:不是所有结构都“学权重”。缩放、mask、残差和归一化统计量不含可训练参数,却会显著改变梯度大小、方向和耦合方式。把它们与可训练矩阵分开,才能看清反向传播的靶子清单。

工作原理:梯度如何从损失回到参数

以单头注意力为例,前向过程可抽象为:

  1. Q = X W_Q
  2. K = X W_K
  3. V = X W_V
  4. S = Q K^T / sqrt(d_k)
  5. A = softmax(S + mask)
  6. O = A V
  7. Y = O W_O

反向传播从损失对 Y 的梯度开始,依次得到 dO、dW_O、dA、dV、dS、dQ、dK,再分别得到 dW_Q、dW_K、dW_V。由于 W_Q、W_K、W_V 被所有位置共享,每个位置产生的 dW_Q、dW_K、dW_V 都要累加。

softmax处的梯度需要特别说明。设 a = softmax(z),其雅可比矩阵为:

  1. J = diag(a) - a a^T

反向传播并不是把梯度简单乘一个数,而是通过该雅可比矩阵把输出端梯度映射回输入端。实际实现通常使用等价且数值更稳定的形式,避免显式构造巨大的方阵。对注意力矩阵的每一行分别应用softmax,因此梯度也按行回传,但行内所有分数彼此耦合。

mask的作用是在softmax前把无效位置置为极小值或负无穷,使其概率接近零。反向传播时,被屏蔽位置的梯度通常被阻断或置零。缩放系数 1/√d_k 不含参数,但会按比例影响 dS 以及继续传向 Q、K 的梯度。残差连接则把子层梯度与直通梯度相加,使深层网络更容易训练。LayerNorm的归一化统计量虽无参数,但梯度会经均值和方差影响同一样本的其他维度;若启用仿射参数,则这些参数也会正常接收梯度。

最后,优化器根据累加后的梯度更新共享矩阵和嵌入行。整个流程仍然是链式法则,只是计算图比普通全连接网络更密集、更共享、更需要关注数值稳定。

典型场景:哪些问题需要理解反向传播

理解Transformer反向传播,适合用于模型学习与教学、训练框架实现、微调策略设计、梯度异常排查和模型结构分析。例如在微调时冻结某些层,需要知道哪些矩阵仍有梯度;在排查损失不下降、梯度消失或数值溢出时,需要检查softmax、mask、缩放和归一化处的梯度流;在实现自定义注意力变体时,需要确认新增结构是否含参数、是否阻断梯度、是否改变共享权重累加方式。

相关概念区别与注意事项

前向传播描述计算输出,反向传播描述计算梯度;注意力机制描述信息如何聚合,反向传播描述聚合参数如何被修正。softmax不是不可导,而是可导但雅可比稠密。参数共享不等于梯度共享,共享矩阵的梯度必须跨位置累加。无参数结构也不等于无影响,mask、残差、缩放和归一化统计量都会改变梯度流。

实践中应关注数值稳定、mask类型与位置、缩放系数、共享参数梯度累加、残差与归一化顺序、低精度训练下的softmax和归一化稳定性,以及梯度检查。回到定义,Transformer反向传播就是一条在共享矩阵和稠密softmax雅可比上运行的链式法则;掌握参数地图和梯度流,才是从前向公式走向真正理解模型学习的关键。

发表评论

活动