logo

为什么还是看不懂Transformer?前向与反向传播对比

作者:公子世无双2026.11.16 11:06浏览量:0

简介:多数资料只讲清了 Transformer 的“前向”一半:输入如何一步步算出输出。本文对比两条理解路径,并拆解 Q、K、V 与 W_O 各自收到的梯度、softmax 的雅可比、缩放、残差、mask 和 LayerNorm 如何改变梯度流,帮你判断什么场景只懂前向就够,什么场景必须补齐反向。

一、对比背景:为什么“公式都认识”,却仍然觉得没懂

很多开发者都有这样的体验:注意力公式背得下来,手推也能算出注意力的权重矩阵。可一旦追问“训练时到底是什么把这些矩阵教会的”,思路就断了。原因往往不在公式本身,而在于所看的资料只覆盖了计算图的一半。

本文对比的是两条理解 Transformer 的路径:

  • 路径A|只讲前向传播:回答“输入怎样一步步算出输出”;
  • 路径B|前向加反向传播:在路径A之上补上“loss 之后梯度如何回传、每个参数收到什么梯度、如何被更新”。

路径B并不是另一套学习规则,而是路径A的镜像。它能解释一件关键的事:推理时由softmax算出的那个注意力矩阵,在训练时只是“中间变量”,它自己也在被学习,而且是间接地被 Q、K、V 三套投影矩阵和它们的输入一起“教”出来的。

选哪条路径,取决于你要做什么:

  • 只调用现成模型接口做应用开发、RAG或简单提示词工程时,路径A通常够用,补齐路径B的优先级不高;
  • 需要全量微调或参数高效微调、实现新结构、排查训练异常,或理解“注意力坍缩”“微调后效果反降”等现象时,必须补齐路径B;
  • 既要自己写模型、又要调训练任务,建议按“前向→单层反向手推→整体梯度路径”的顺序系统补齐。每补一层,可解释和可调试的范围都会扩大。

二、先确认一件事:你说“懂神经网络”,懂的到底是哪一半

“反向传播调 W 和 b,拟合数据”这个理解本身没错,而且完全适用于 Transformer。它没有发明新的学习规则,用的还是同一条链式法则。它看起来不一样,是因为和“每个神经元各有一对 W、b”的普通全连接网络相比,有三处反直觉:

  1. 参数被矩阵化并被共享。每个块不是一堆互不相干的 W、b,而是 W_Q、W_K、W_V、W_O 四个 d×d 矩阵(d 为模型维度)。同一套矩阵被序列里所有位置、所有头共用,反传时各位置、各头的梯度必须累加到同一份参数上。
  2. 主要非线性来自softmax。它被跳过得最多。softmax可导,但雅可比是一个稠密方阵,注意力这部分的链式法则远比 ReLU 逐元素相乘复杂,是全篇最难的一步。
  3. 有一大批不需要学习的结构。缩放系数、残差连接、causal mask、LayerNorm 的均值与方差都不含可训练参数。它们不参与“改权重”,却决定了梯度的形状、大小和方向。

三、相同点:路径B没有新规则,只是同一条链式法则的延伸

  • 目标函数:两类路径面对的都是同一个 loss,梯度都从 loss 出发。文本任务常用交叉熵,它常与模型最后一层线性输出合写成一个softmax损失,因此把头部的softmax并入“输出层”,反传路径通常从注意力之前开始。
  • 计算规则:前向里的矩阵乘、逐元素乘、求和、归一化,反向时都能直接写出对应规则;softmax和LayerNorm这类复合算子,也只是这几条基本规则的组合。
  • 参数更新:梯度回传只回答“每个参数该往哪个方向动、动多少”。真正改变参数的是优化器,比如 SGD、带动量的方法或 Adam 类自适应方法,路径A和路径B用的是同一类工具。
  • 残差这条高速公路:前向中残差把每层的输出直接加到输入上;反向时,它对应一条“梯度直通车”。上游梯度会原样传给残差另一支,所以深层 Transformer 的梯度不会逐层衰减得特别快。这是理解“为什么能堆很多层”的关键,也和循环结构网络常遇到的梯度消失问题形成对照。

四、核心差异:把路径B拆成六个维度

4.1 参数结构:从“一对一”到“四矩阵共享”

普通全连接网络中,每个神经元有自己的 W 和 b,前向“用到谁、谁算谁”,反向也只有一条清晰对应。Transformer 里有三处不同:

  • 共享:W_Q、W_K、W_V 分别把同一份输入映射成查询、键、值。同一个 token 既会作为别人查询的对象,也会去查询别人。所以输入 X 会在 Q、K、V 三条支路里反复被用到。
  • 跨位置共享:同一套矩阵作用于序列的每个位置。反向时,每个位置算出的 dW_Q 等必须累加(或求平均),而不是各自保存一份。
  • 多头之间不共享:每个头有独立投影,输出拼接后再由 W_O 汇合,所以 W_O 的梯度是各头贡献之和。

4.2 非线性:softmax的雅可比

ReLU 的反向近乎“开关”:前向大于零,梯度原样通过;小于等于零,梯度归零。softmax则不同。对每个查询位置,它把一个长度为 d_k 的打分向量变成概率分布。单个输出的导数为:

∂y_i / ∂z_j = y_i·(δ_ij − y_j)

写成矩阵形式,雅可比为 J = diag(y) − y·yᵀ,是一个 d×d 的稠密方阵。于是反向不是逐元素相乘,而是一次矩阵向量乘法。

一个能直接背下来的结论

设损失对该位置softmax输出的上游梯度为 g,输入 logits 为 z,输出为 y,则:

dz = y ⊙ ( g − (gᵀy)·1 )

其中 ⊙ 是逐元素乘,1 是全 1 向量。要点如下:

  • 每个分量先乘自己的 y_i,再统一减去所有分量按 y 加权的平均值;
  • g 中各个分量方向的差异才被保留,所有分量共同的整体平移被减去。

用一个例子来理解:若 g 恰好是全 1 向量,则 gᵀy = 1,dz 整列为零。这并不矛盾,而是 softmax 的结构使然:给所有 logits 同时加上同一个常数,输出完全不变;输出之和为 1,也无法整体增加。所以“整体一起变大”这类需求,不会给任何 logit 提供梯度。真正驱动学习的是“相对差异”,即谁该比谁更高。

工程上不必真的构造这个方阵。逐位置算一次归约、做一次逐元素乘即可,显存开销是线性的,而不是平方的。

  1. # 与框架无关的示意性伪代码
  2. # y: 形状 [..., d_k],该位置 softmax 的输出
  3. # g: 形状 [..., d_k],损失对 y 的上游梯度
  4. dot = sum(g * y, axis=-1, keepdims=True) # gᵀy
  5. dz = y * (g - dot) # softmax 的反向

4.3 梯度路径:先拆成标量图,再回看矩阵

把单头缩放点积注意力写成标量形式:

  • s_ij = (q_i · k_j) / √d_k
  • a_ij = exp(s_ij) / Σ_l exp(s_il)
  • o_i = Σ_j a_ij · v_j

一旦写成这样,它就是一张普通的标量计算图,反向只需三步:

  1. ∂L/∂v_j = Σ_i (∂L/∂o_i)·a_ij
  2. ∂L/∂a_ij = (∂L/∂o_i)·v_j
  3. 每行 a_i 过一个softmax反向,得到 ∂L/∂s_ij;再乘缩放因子、与 q_i 或 k_j 点乘,得到 ∂L/∂q_i 和 ∂L/∂k_j。

难点不在链条本身,而在两处细节:

  • softmax按行归一化,第 i 行的梯度只在第 i 行内部耦合。a_ij 变化时只影响同一个查询 i 的输出,不会跨行串联。
  • 因果掩码使图不对称。位置 j 的 k_j、v_j 会被所有 i ≥ j 的查询用到,所以它们收到的梯度天然更多;而 q_i、v_i 只出现在自己这一行。Q、K、V 虽然结构对称,梯度来源并不对称,W_K 与 W_V 的梯度通常是各分支中最“厚”的两份。

4.4 缩放、mask、LayerNorm:没有参数,却在塑造梯度

  • 缩放系数 1/√d_k:不含参数,作用是等比例缩放。前向乘上去,反向同样乘上去,所以它同时决定激活和梯度的量级。设想 d_k 个元素各分量均值 0、方差 1 的 q、k,点积的方差约为 d_k,标准差约 √d_k。d_k 较大时不缩放,logits 方差随维度线性增长,softmax进入饱和区。饱和时某个 a_ij ≈ 1、其余 ≈ 0,y 趋于 one-hot,dz = y ⊙ (g − gᵀy) 会趋近于零向量,也就是梯度消失。缩放把 logits 拉回方差约为 1 的范围,注意力分布就不会过度尖峰。
  • mask:被屏蔽的位置在softmax前置为一个很大的负数。这个数不能真正取负无穷:softmax把它变成 0 本身没问题,但反向经过“0 ×(g − 0)”时若 involving inf 或 NaN 就会污染整张梯度图。实践中常用一个足够小的有限负数,具体取值应与数值精度匹配。
  • LayerNorm:不含可学习的部分也要反传。均值为 0、方差为 1 的约束意味着梯度必须“减去均值,并去掉沿当前激活方向的分量”,dγ、dβ 则是上游梯度在 token 维、特征维上的求和。它还有一个实践含义:输出侧的 RMSNorm 没有均值中心化,backward 的实现和成本都与 LayerNorm 不同,迁移权重时需要逐项核对。
  • Dropout:训练与推理行为不同,梯度带有一个按保留概率放大的二值掩码。推理阶段没有 dropout,因此推理速度、显存与训练阶段不可直接类比。

4.5 参数量地图:每个参数收到什么梯度

组件 是否含可训练参数 梯度来源 反传特点
输入 / 词嵌入 有(词表大小 × d) 所有被用到的 token 行,经残差汇合 梯度稀疏:一个 batch 里没出现的行,其梯度恒为 0;实现上常按索引查表再聚合,而不是对整个大矩阵做稠密更新
W_Q 有(d×d) dW_Q = Σ_t x_t ⊗ dq_t 各位置、各头的贡献按位置累加;输入是所有层共享的残差流
W_K / W_V 有(d×d) dW_K = Σ_t x_t ⊗ dk_t,dW_V 同理 同上;因因果掩码,靠后位置的 k、v 被更多查询用到
W_O 有(d×d) dW_O = Σ_t h_t ⊗ do_t,h_t 为多头拼接 只有输出投影一个来源,形式上最规整,但各头梯度在此汇合
缩放 1/√d_k 无 无参数梯度 等比例缩放前向与反向的量级
softmax 无 无参数梯度 雅可比(稠密);mask 已屏蔽的位置不回传;饱和时梯度趋零
残差连接 无 无参数梯度 梯度直通车,缓解深层衰减
mask 无 无参数梯度 屏蔽位置不回传,需避免 inf/NaN
LayerNorm / RMSNorm 有(缩放,LayerNorm 另有偏移) dγ = 上游梯度在 token 维求和;dβ = 上游梯度直接求和(LayerNorm) 无参数的均值、方差统计也要参与反传
FFN 两层线性 有 标准线性层反传,中间夹一次逐元素非线性 参数通常多于注意力四个投影之和,是参数量与显存的主要部分
输出头 / softmax 损失 有 未登录词 softmax + 交叉熵 常与输出侧归一化合并计算,梯度从这一层回传入主干

4.6 一个完整单层的反向骨架

  1. # 与框架无关的示意性伪代码
  2. # 前向
  3. scores = matmul(Q, transpose(K)) * scale # scale = 1 / sqrt(d_k)
  4. scores = scores + mask_bias # 屏蔽位置填足够小的负数
  5. A = softmax(scores, axis=-1)
  6. O = matmul(A, V)
  7. H = concat(head_1_out, ..., head_h_out)
  8. Y = matmul(H, W_O)
  9. # 反向(略去残差与 LayerNorm 的细节)
  10. dW_O = matmul(transpose(H), dY)
  11. dH = matmul(dY, transpose(W_O))
  12. dA, dV = split_heads(dH), None # 按头切分
  13. dA = matmul(dO, transpose(V))
  14. dV = matmul(transpose(A), dO)
  15. dS = softmax_backward(A, dA) # A ⊙ (dA - sum(dA * A, axis=-1))
  16. dS = dS * scale
  17. dQ = matmul(dS, K)
  18. dK = matmul(transpose(dS), Q)
  19. dW_Q = matmul(transpose(X), dQ)
  20. dW_K = matmul(transpose(X), dK)
  21. dW_V = matmul(transpose(X), dV)
  22. dX = matmul(dQ, transpose(W_Q)) + matmul(dK, transpose(W_K)) \
  23. + matmul(dV, transpose(W_V)) + dX_from_residual_and_norm

最后一行是理解 Transformer 的关键:输入 X 同时走 Q、K、V 三条支路,所以它的梯度是三段之和,再加上残差与归一化传回的部分。

五、关键差异对比表

对比维度 只讲前向(路径A) 前向加反向(路径B) 对读者的实际影响
回答的问题 输入怎样变成输出 参数怎样被一点点改对 决定你能否解释“训练”本身
数学工具 矩阵乘、softmax、残差 链式法则、雅可比、梯度累加 softmax反向是全篇门槛
参数视角 W_Q、W_K、W_V、W_O 各一个 d×d 矩阵 共享参数的梯度是所有位置之和 误以为“每个位置有自己的参数”是常见误区
非线性理解 softmax“把分数变概率” softmax反向为 y ⊙ (g − gᵀy) 解释了为何饱和时学不动
无参数结构 常被当作实现细节 缩放、残差、mask、归一化都在塑造梯度 决定梯度大小与稳定性
调试能力 只能看输出对不对 可看每层梯度范数、注意力熵、更新幅度 训练不收敛时能否定位问题
推理场景 足够 非必需 纯调用时不必深挖
微调与二次开发 不够 必需 学习率、warmup、梯度裁剪都需要它
学习成本 低,数小时可入门 中高,需手推一层 建议按“单层手推”小步走

六、典型场景选择

  • 只调用现成模型:路径A即可。重点放在输入输出格式、上下文长度、结构化输出与重试策略上。
  • RAG与提示工程:路径A加上对softmax的基本理解就够,例如为什么 logits 尺度变化会影响输出分布、温度参数如何改变分布形状。
  • 全量微调与参数高效微调:必须补齐路径B。要理解可训练参数的梯度从哪里来、哪里被冻结、梯度累积与学习率调度怎样共同决定实际更新量。若梯度被裁剪或累积,看到“loss 在降但效果没变”并不奇怪。
  • 从零实现或改造结构:必须完整掌握路径B,并且能解释每一项改动对梯度流的影响。例如把softmax换成其他归一化、调整缩放位置,都会改变梯度尺度。
  • 训练不稳定与线上质量回退排查:路径B提供的是可观测点,包括各层梯度范数、注意力分布是否过度尖峰、输出侧归一化统计是否漂移。缺了它,排查只能靠反复试参。

七、选型与学习建议

  • 先明确目标边界。如果工作只是“输入进、输出出”,把预算投入到数据质量与评测集建设上,性价比更高。
  • 需要训练时,按“手推一层反向→画完整梯度路径→读一遍数值稳定性处理”三步推进,不要从整篇公式开始啃。
  • 算力受限时,优先做参数高效微调。它只训练少量新增参数,主干梯度被冻结或近似,对显存与调参经验的要求都更低。
  • 工程侧可以借助云上通用能力降低边际成本,例如容器平台的弹性资源调度、对象存储的数据版本管理、日志与监控告警。百度智能云等云服务商提供的通用云产品类别(容器平台、对象存储、消息队列、日志服务、监控告警、身份认证等)都属于这一类可选项,具体选型仍需结合团队现有技术栈评估。
  • 不要跳过数值细节。混合精度训练下,softmax、归一化层、损失函数的精度选择,会直接影响梯度是否出现 inf/NaN,这是实践中最常见的“看不懂为何训不动”的原因之一。

八、迁移与使用注意事项

  • 权重迁移:不同实现里 Q、K、V 的合并与拆分顺序、归一化层的位置(前置或后置)、输出侧用 LayerNorm 还是 RMSNorm,都可能不同。这些差异不改变数学,但会改变权重布局,直接拷贝往往对不上。
  • 掩码策略:causal mask、padding mask、文档边界 mask 常常叠加。屏蔽值必须用与精度匹配的有限负数,不要用负无穷。
  • 位置编码:不同方案的位置信息注入方式不同,迁移时要核对训练与推理是否一致,否则“模型没变、效果变了”很难归因。
  • 超参数:学习率、warmup、梯度裁剪阈值、权重衰减与作用对象,与批大小、序列长度强相关,换了并行策略后通常需要重新校准。
  • 评测:上线前应固定评测集,并分别记录训练/验证损失、梯度范数与输出熵,否则无法判断回退到底来自数据、代码还是配置。

九、总结

卡住你的从来不是 Q、K、V 怎么算出来,而是训练时“谁在教它们”。答案是同一个softmax和同一个 W:softmax把分数变成分布,反向时通过 y ⊙ (g − gᵀy) 把“哪里分高了、哪里分低了”送回 logits;W_Q、W_K、W_V 各自从这个信号里取走自己那一份,再与共享输入做外积并沿位置累加。W_O 更像总闸门,各头梯度在这里汇合。

把这条路径和缩放、残差、mask、归一化这几个“没有参数但决定梯度”的结构分清楚,所谓“看不懂 Transformer”的问题就消掉了大半。选型上也不必非此即彼:只做推理调用时,懂前向就够;一旦要改模型、要微调、要排查训练问题,反向那一半就是绕不过去的门槛。

发表评论

活动