logo

从注意力到Transformer:一步步拆懂大模型底座

作者:rousong2026.11.18 11:19浏览量:0

简介:本教程带你用通用伪代码从零实现缩放点积注意力、多头注意力与Transformer块,搞清Q/K/V、缩放因子、掩码、位置编码、残差与层归一化的作用与实现顺序,并给出可运行的验证任务、常见报错排查清单与性能优化思路。读完你将能独立写出一个结构正确、可训练的最小注意力模块,并看懂主流大模型的底座构造。

一、本教程要完成什么

读完并跟做本教程后,你应当能够独立实现以下成果:

  1. 用一段几十行的通用伪代码写出缩放点积注意力与多头注意力;
  2. 说清 Q(查询)、K(键)、V(值) 三个矩阵各自的来源、形状与语义,而不是背公式;
  3. 独立组装一个完整的 Transformer 编码器块 / 解码器块,包含注意力子层、前馈子层、残差连接、层归一化与 Dropout;
  4. 用一个可收敛的玩具任务验证实现是否正确,并能根据损失曲线与注意力权重图判断问题出在哪一层;
  5. 掌握形状不匹配、softmax 溢出、注意力塌缩、长度外推失败等高频问题的通用排查思路。

适用读者:有一定编程基础、了解张量/矩阵运算概念的后端与算法开发工程师;想从调用现成模型走向理解结构的技术负责人;准备做模型微调、推理服务或算力成本评估的运维与架构人员。

适用场景:大语言模型底座原理学习、模型结构改造与实验、注意力模块的单元测试与调试、推理性能与显存开销评估、面试与技术选型准备。

二、前置准备

  • 数学基础:向量点积、矩阵乘法、softmax、均值与方差的基本概念即可,不需要推导反向传播。
  • 张量形状直觉:这是最关键的一项。注意力实现中 90% 的 bug 都来自维度顺序错误,建议全程把形状写在注释里,例如 [B, H, L, D]。
  • 运行环境:任一支持张量运算与自动求导的数值计算库或框架即可,不限定具体产品;若用容器化方式承载实验,可在百度智能云等平台的容器平台、弹性计算或对象存储等通用能力上部署与存放数据集,本文不涉及任何专有接口。
  • 一份小语料或合成数据:字符级文本或随机整数序列均可,玩具任务不需要大数据。
  • 验证指标:任务损失、注意力权重分布、各子层输出的均值方差。

三、第一步:理解注意力究竟解决了什么问题

早期的序列模型依赖循环结构:逐时间步读入一个元素,把隐藏状态一路向后传递。这条链路的本质问题是信息必须顺序流经网络,两个远距离位置之间的依赖要经过大量中间步骤才能建立,同时反向传播时梯度要连乘多步,容易出现梯度消失,导致靠前位置的信息在输出端几乎丢失,即所谓长程依赖困难。

注意力改变的是范式:让模型在每个输出位置直接回头查看全部输入,与当前查询相关的位置获得更高权重。由此带来三点差异:

  • 路径长度:任意两个位置之间只需一次矩阵运算即可交互,信息传递步数从 O(L) 降到 O(1);
  • 并行性:同一层内所有位置可以同时计算,充分利用张量运算的并行能力,这是 Transformer 能在大规模数据上训练的前提;
  • 可解释性:注意力权重本身就是一张”谁关注了谁”的分布图,便于调试。

代价也要认清:注意力需要计算 L×L 的分数矩阵,时间和显存随序列长度呈平方增长。这个约束会贯穿后文的优化部分。

四、第二步:把 Q、K、V 三个概念分清

初学者最常见的误区,是把 Q、K、V 理解成三个固定的全局向量。实际上:

对输入的每一个位置,都用三组可学习的线性投影,分别生成属于它自己的 q、k、v。

用一个检索类比对齐语义:

概念 检索类比 形状(单头) 作用
Q 查询 我要找什么 [B, L, D] 由当前位置发出,用于和其他位置比对
K 键 每条记录的索引 [B, L, D] 用于被打分,表示”我能被匹配成什么样”
V 值 每条记录的内容 [B, L, D] 真正被加权聚合的信息

自注意力中 Q、K、V 来自同一份输入,只是投影矩阵不同;交叉注意力中 Q 来自解码端,K/V 来自编码端。记住这一句,后面写代码时就不会把三个矩阵弄反。

五、第三步:实现缩放点积注意力

核心公式:Attention(Q,K,V) = softmax(QKᵀ / √d_k) V

拆解成四个动作:打分 → 缩放 → 归一 → 加权聚合。

  1. # 通用伪代码,形状标注在注释中
  2. def scaled_dot_product_attention(Q, K, V, mask=None):
  3. # Q/K/V: [B, H, L, D]
  4. d_k = Q.shape[-1]
  5. scores = matmul(Q, transpose(K, -2, -1)) / sqrt(d_k) # [B, H, Lq, Lk]
  6. if mask is not None:
  7. # mask 为 True/1 的位置保留,其余置为 -inf,softmax 后权重为 0
  8. scores = where(mask, scores, -1e9)
  9. weights = softmax(scores, axis=-1) # 每行和为 1
  10. output = matmul(weights, V) # [B, H, Lq, D]
  11. return output, weights

为什么必须除以 √d_k。 设 q、k 的各维独立、均值为 0、方差为 1,则它们点积的结果方差约为 d_k,标准差约为 √d_k。维度越高,分数绝对值的波动越大,softmax 会被推进饱和区:最大项趋近 1、其余趋近 0,输出几乎变成常量,同时 softmax 的雅可比趋近于零,梯度传不回去,训练直接卡住。除以 √d_k 把分数尺度拉回单位方差附近,是让深层网络能训得动的必要条件,而不是可选项。

实现要点:

  • 实现 softmax 时先减去该行最大值再取指数,避免 exp 溢出产生 NaN;
  • 掩码用有限负数(如 -1e9)而不是真正的 -inf,否则一整行被掩掉时会出现 0/0;
  • 因果掩码(解码器用)要屏蔽 j > i 的位置,禁止看到未来;填充掩码要屏蔽 pad 列,并且要沿 key 维屏蔽,不要误屏蔽 query 维。

六、第四步:多头注意力——并行看多个视角

单头注意力只能学到一种”相关性”模式。多头的做法是把 d_model 切成 H 份,每份维度 d_h = d_model / H,在各自子空间里独立做注意力,最后拼接并做一次输出投影:

  1. def multi_head_attention(X, mask, W_q, W_k, W_v, W_o, H):
  2. # X: [B, L, d_model]
  3. Q = split_heads(matmul(X, W_q), H) # [B, L, d_model] -> [B, H, L, d_h]
  4. K = split_heads(matmul(X, W_k), H)
  5. V = split_heads(matmul(X, W_v), H)
  6. head_out, attn = scaled_dot_product_attention(Q, K, V, mask)
  7. concat = merge_heads(head_out) # [B, H, L, d_h] -> [B, L, d_model]
  8. return matmul(concat, W_o), attn

设计要点:

  • 总计算量基本不变,因为 H 个头共享同一个 d_model,只是拆分了通道;
  • 头数选择:常见取值是 8、12、16,要求能整除 d_model;头太少表达能力不足,头太多会让 d_h 过小、单个头退化为近似线性变换;
  • split_heads 与 merge_heads 必须是严格互逆的转置/重排操作,这是形状 bug 的高发区,建议单独写单元测试断言输出形状;
  • 调试阶段可以先把 H 设为 1 跑通,再切到多头对比效果。

七、第五步:位置编码——补上注意力缺失的顺序信息

注意力对输入是置换等变的:打乱输入顺序,输出只是相应被打乱,模型本身感知不到”谁在前谁在后”。而语言与多数序列任务的语义恰恰依赖顺序,因此必须显式注入位置信息。

通用做法有两类:

  1. 正弦位置编码(固定,无需训练)
    PE(pos, 2i) = sin(pos / 10000^(2i/d)),PE(pos, 2i+1) = cos(pos / 10000^(2i/d))
    优点是不同频率的正弦波组合可以表达相对位移,理论上具备一定的长度外推能力,且不增加参数量。
  2. 可学习位置嵌入(随训练更新)
    为每个位置初始化一个可训练向量。实现最简单、拟合能力强,但长度受训练时最大长度限制,超出范围需要插值或外推处理。

工程上还常见一类相对位置方案(如旋转式位置编码),通过旋转 Q、K 的相位让点积天然包含相对距离信息,对长上下文更友好。选型原则:短序列、追求简单可先用正弦或可学习嵌入;长上下文场景优先考虑相对位置方案。

位置编码的加法位置也影响收敛:现代实现更常放在注意力之前(Pre-Norm 结构)而非残差分支内,两者都要保证形状为 [1, L, d] 或 [1, 1, d] 以便广播。

八、第六步:组装完整的 Transformer 块

一个编码器块由两个子层组成,每个子层都遵循”子层计算 → 残差相加 → 归一化”的模式:

  1. def transformer_block(X, mask, params, pre_norm=True):
  2. # 子层 1:多头自注意力
  3. A = multi_head_attention(X, mask, params.wq, params.wk, params.wv, params.wo, H)
  4. X = layer_norm(X + A) if pre_norm else layer_norm(X + A)
  5. # 子层 2:逐位置前馈网络
  6. F = linear(relu_or_gelu(linear(X, params.w1)), params.w2) # d_model -> d_ff -> d_model
  7. X = layer_norm(X + F)
  8. return X

各组件的作用与常见取值:

  • 残差连接:让梯度有一条恒等通路直达浅层,是深层网络可训练的关键;同时要求输入输出维度一致,否则需要额外投影。
  • 层归一化(LayerNorm):在最后一维上归一化,对 batch 大小不敏感,因此比批归一化更适合变长序列。
  • Pre-Norm 与 Post-Norm:原始结构为 Post-Norm(先残差再归一化),训练深层时更容易发散,通常需要学习率预热;现代实现多采用 Pre-Norm(进入子层前先归一化),稳定性更好,代价是表达能力略有折损,且需要额外一层最终归一化。
  • 前馈网络(FFN):两个线性层加非线性激活,中间维度 d_ff 通常取 4×d_model;它对每个位置独立处理,是模型中参数量占比最大的部分。
  • Dropout:作用于注意力权重与子层输出,小数据场景建议保留 0.1 左右,大规模预训练常降到 0。
  • 编码器 / 解码器差异:编码器用双向掩码(或不掩码),适合理解类任务;解码器用因果掩码,适合生成类任务;堆叠 N 层(常见 6~96 层)后,编码器输出接池化或分类头,解码器输出接词表投影。

九、第七步:验证实现是否正确

不要直接上真实语料,先用可控的玩具任务分层验证,能省下大量调参时间。

场景一:形状自检(第一步必做)
打印并断言每一层的形状,建立形状对照表:

阶段 期望形状
词嵌入 + 位置编码 [B, L, d_model]
Q/K/V(单头) [B, L, D]
Q/K/V(多头) [B, H, L, d_h]
注意力分数 [B, H, Lq, Lk]
单头输出 / 拼接后 [B, H, L, d_h] / [B, L, d_model]
块输出 [B, L, d_model]

场景二:复制任务(copy task)
构造随机整数序列,在末尾插入一个标记位,要求模型输出等于输入的复制。这个任务只有位置对应关系、没有语义,如果注意力结构正确,损失应快速下降到接近 0;若长时间停在随机水平,说明掩码方向、位置编码或残差路径有问题。

场景三:因果性验证
解码器场景下,把输入第 i 个位置向后篡改,检查位置 i 及之前的输出是否完全不变。若发生变化,说明因果掩码写错了(常见原因是把 mask 作用在了 query 维,或用了 0 而非 -1e9)。

场景四:注意力权重可视化
取单头权重矩阵画热力图,健康的表现是:复制任务中权重明显指向对应源位置;语言模型中局部对角线强、部分行呈现稀疏长距离连接。若所有权重接近 1/L 的均匀分布,即为注意力塌缩。

通过标准:形状断言全部通过 + 玩具任务损失数量级下降 + 因果性验证不变 + 注意力图非均匀。

十、常见问题与排查

现象 常见原因 排查方向
矩阵乘法维度报错 头维度拆分/合并顺序错误,转置写成 reshape 打印中间形状;确认 split/merge 互逆
损失很快变 NaN softmax 未减最大值;掩码用 -inf 导致整行被掩;学习率过大 用 -1e9 代替 -inf;开启梯度裁剪;降低学习率
训练前期不收敛、损失剧烈震荡 深层 Post-Norm 结构缺少学习率预热 增加 warmup 步数(总步数 1%~5%);改用 Pre-Norm
损失停在语言模型随机水平 因果掩码方向反了;标签与输入错位;位置编码形状无法广播 单独验证掩码矩阵下三角为可保留
长文本效果断崖下降 训练长度与推理长度不一致;绝对位置嵌入未做插值 使用相对位置方案或位置插值/外推
权重均匀、模型学不到东西 缩放因子漏掉或写错;Q/K 投影矩阵未初始化 检查 /sqrt(d_k) 是否生效,权重初始化为小方差
显存溢出 L×L 注意力矩阵随长度平方增长;batch 过大 减小 batch、启用梯度累积、分块计算注意力、混合精度

十一、优化建议

  • 性能:注意力的时间/显存开销是 O(L²),工业界常见的分块与内核融合类实现能在不显式存储完整 L×L 矩阵的前提下降低显存峰值;推理阶段使用 KV 缓存避免重复计算历史 K/V,是解码加速最直接的手段。
  • 精度与稳定性:优先使用混合精度训练并保留主权重;对注意力输出与残差分支加初始化缩放,可进一步稳定深层堆叠。
  • 成本:长度、层数、头数与 FFN 维度共同决定参数量和激活开销;做算力预算时以”层数 × d_model × 序列长度”三个变量做敏感性分析,通常降低序列长度对显存的收益最直接。
  • 可维护性:把掩码构造、位置编码、注意力核拆成独立模块并各自写单元测试;所有形状写入类型标注与断言,避免后续替换实现时回归。
  • 可观测性:训练时监控损失、梯度范数、注意力熵与每层输出方差;上线后结合通用监控告警与日志服务跟踪推理延迟与显存占用。

十二、总结

注意力的本质不是”魔法”,而是一套”先打分、再归一、后按权重取平均”的可微检索机制;Transformer 则把它与残差、层归一化、前馈网络和位置编码组合成可堆叠的块。跟做本教程的关键路径是:搞清 Q/K/V 语义 → 正确实现缩放点积注意力(含缩放与掩码)→ 拆成多头 → 加入位置编码 → 组装带残差与归一化的块 → 用玩具任务与形状断言逐层验证。

后续可继续深入的方向包括:相对位置编码与长上下文外推、注意力稀疏化与线性复杂度变体、KV 缓存与解码加速、以及在此结构基础上做微调与蒸馏。把本教程的最小实现作为基线保留下来,后续每引入一个改动都跑一遍玩具任务与形状断言,是复杂度可控的实验方式。

发表评论

活动