AI Infra 学习笔记:Transformer 结构方案对比
作者:KAKAKA2026.11.16 10:56浏览量:0简介:本文以 Transformer 的学习为线索,把 Self-Attention 与 FFN、正弦式位置编码与旋转式位置编码、Pre-Norm 与 Post-Norm 三组常被混淆的结构方案放在一起对比。文章沿着完整前向过程逐步跟踪各张量的维度变化,讲清 O(N²) 复杂度的来源、参数分布与数值稳定性的取舍,并给出训练侧与推理侧的关注重点、选型依据和使用边界,帮助 AI Infra 初学者建立可迁移的判断框架。
一、对比背景:AI Infra 为什么必须先啃下 Transformer
AI Infra 的工作对象是”模型在真实硬件上跑起来之后的行为”,包括显存占用、计算访存比、通信开销、长序列扩展性以及训练稳定性。这些指标几乎都可以从 Transformer Block 的结构里推导出来,因此把结构看懂是后续学习并行策略、量化、推理加速的前提。
原始学习笔记列出了 Self-Attention、FFN、位置编码、LayerNorm 和完整前向过程五个要点。它们并不是五个平行的知识点,而是围绕同一条数据通路展开的三组”方案对比”:谁来混合信息(Attention 与 FFN 的分工)、位置信息如何注入(绝对位置编码与旋转式位置编码的差别)、残差与归一化的先后关系(Pre-Norm 与 Post-Norm 的差别)。本文即以这三组对比为主线展开。
二、对比对象界定
对象 A:Self-Attention(Token 间混合器)
输入序列表示 X ∈ R^{N×d},通过三组可学习权重投影出 Q、K、V。计算流程是:QKᵀ 得到 N×N 的相似度矩阵 → 除以 √d_head 做缩放 → 沿最后一维 softmax 归一化 → 与 V 相乘加权求和。它的语义是”每个 token 按相关性去汇集其他 token 的信息”,复杂度为 O(N²·d)。
对象 B:FFN(Token 内通道混合器)
对每个位置独立作用:先做一次 d → d_ff 的线性升维,再经过非线性激活函数,最后做 d_ff → d 的线性降维。它的语义是”在同一 token 的特征维度上做非线性变换”,复杂度为 O(N·d·d_ff),与序列长度呈线性关系。
位置编码的两类方案
一是正弦/余弦式绝对位置编码(及可学习位置嵌入的同类思路),二是旋转式位置编码(RoPE 一类)。两者都要解决同一个问题:Self-Attention 本身对输入顺序是置换等变的,若不注入位置信息,”我爱你”和”你爱我”在结构上无从区分。
归一化位置的两类方案
Pre-Norm 把 LayerNorm 放在子层之前,残差通路保持恒等;Post-Norm 把 LayerNorm 放在子层之后,作用于残差相加的结果。
三、相同点分析
三组对象共享三点共性:
- 目标一致:都是为了让深层网络”可训练、可表征”。Attention 负责跨位置汇聚,FFN 负责特征变换;位置编码负责补齐顺序先验;归一化负责稳住激活分布。
- 都嵌入同一残差框架:x ← x + Sublayer(x) 是共同骨架。这个恒等通路是梯度能够穿透几十上百层的根本原因,任何对比都不能脱离残差结构单独讨论。
- 都由维度约定支配:Q、K、V 的形状、多头切分方式、d 与 d_ff 的比例,直接决定显存与算力预算。结构方案之间的差异,最终都会折算成”张量形状与访存量”的差异。
四、核心差异分析
4.1 Attention 与 FFN:复杂度阶数与参数分布不同
设 N 为序列长度、d 为模型维度、d_ff 为中间维度。Attention 部分的乘加量约为 O(N²·d),FFN 部分约为 O(N·d·d_ff)。当 d_ff ≈ 4d 时,两者在 N 与 d 同量级时开销接近;一旦进入长序列场景(N 远大于 d),QKᵀ 生成的 N×N 矩阵会迅速成为主导项。这解释了两个常见工程现象:短序列下 FFN 的参数量占比往往更高,长序列下 Attention 反而成为吞吐瓶颈。
关键区别在于访存特性:FFN 是逐位置独立的稠密矩阵乘,算术强度高、对硬件友好、易于切分;Attention 需要跨位置交互,带来全局归约与 O(N²) 中间矩阵,一旦不能完整放入片上存储就会产生大量重复读写。这也是实践中 FlashAttention 类思路(通过分块与在线 softmax 避免物化完整注意力矩阵)能够显著提升效率的原因,其收益来自访存优化而非降低计算阶数。
4.2 位置编码:绝对位置式与旋转式
| 维度 | 正弦/绝对位置编码一类 | 旋转式位置编码(RoPE 一类) |
|---|---|---|
| 注入方式 | 在 Embedding 层与位置向量相加 | 在每层对 Q、K 做旋转变换 |
| 表达的关系 | 显式给出绝对位置 | 内积只依赖相对位移 |
| 层数间影响 | 一次注入,后续层共享 | 每层重复施加,逐层强化位置感知 |
| 外推行为 | 超出训练长度时缺少可靠信号 | 外推仍受训练分布限制,通常需配合插值或缩放策略 |
| 实现成本 | 简单,可预计算查表 | 需处理复数或等价实数变换,工程上略复杂 |
要点在于:两类方案的差别不是”谁更强”,而是位置信息以何种形式参与注意力打分。旋转变换把相对位移直接编码进 QKᵀ 的内积结果,天然契合 Attention 的相对性;绝对位置编码实现直观、便于调试。两者在超长上下文下都会遇到分布外问题,需要额外的位置插值、缩放或训练策略配合,不能假定”换了编码方式就能任意外推”。
4.3 Pre-Norm 与 Post-Norm:残差干净度换取表达能力
Post-Norm 的归一化作用于残差和之上,深层堆叠时残差通路被反复缩放,梯度在反向传播中容易出现较大波动,通常需要学习率 warmup 等配套策略才能稳定收敛。Pre-Norm 让残差通路保持恒等,梯度可以沿恒等路径直接回传,深层训练的稳定性显著改善,代价是各子层的实际输出尺度未受归一化约束,最终表示的表达能力略有折损,往往需要在最后一层补一个归一化来补偿。
| 维度 | Pre-Norm | Post-Norm |
|---|---|---|
| 归一化位置 | 子层输入前 | 残差相加后 |
| 残差通路 | 保持恒等,梯度通畅 | 被归一化算子介入 |
| 深层稳定性 | 通常更好,对超参更宽容 | 更敏感,依赖 warmup 等技巧 |
| 表达/收敛上限 | 稳定优先,末层需补归一化 | 同等深度下表达更充分 |
| 工程取舍 | 层数多、超参资源有限时更省心 | 层数少、追求充分训练时可选 |
4.4 训练侧与推理侧的关注重点不同
训练侧关心的是显存与重计算:Attention 的 O(N²) 中间矩阵、FFN 的大激活张量、以及反向传播所需的缓存。常用手段包括激活重计算、序列并行、张量与流水并行切分。
推理侧的分水岭在于是否使用 KV Cache。使用缓存后,解码阶段每步只需为新 token 计算 Q,K/V 从缓存读取,Attention 的成本从 O(N²) 转为与缓存长度相关的线性项,此时瓶颈通常从算力转向显存带宽与缓存容量。而 FFN 在推理中依然是逐 token 的稠密矩阵乘,其算子效率更多取决于权重量化、批处理策略与硬件利用率。这一差异直接决定了优化优先级:长文本推理优先考虑缓存管理与注意力访存,吞吐优先的批处理场景则更关注 FFN 与权重的整体计算效率。
五、三组对比汇总表
| 对比组 | 方案 A | 方案 B | 决策要点 |
|---|---|---|---|
| 混合器 | Self-Attention,O(N²·d),跨位置 | FFN,O(N·d·d_ff),逐位置 | 长序列看 Attention 访存;短序列 FFN 参数占比更高 |
| 位置编码 | 绝对位置式,一次注入、实现简单 | 旋转式,逐层施加、内积含相对位移 | 需要长上下文能力与跨层位置感知时评估旋转式 |
| 归一化 | Pre-Norm,深层稳定、残差干净 | Post-Norm,表达更充分、需精细调参 | 深度大、调参资源有限倾向 Pre-Norm |
六、前向过程逐步走查(含维度约定)
以批量 B、序列长 N、模型维度 d、头数 H、每头维度 d_head = d/H、词表 V 为例:
- Token 索引 [B, N] → 查表得 Embedding [B, N, d],叠加位置编码后仍为 [B, N, d]。
- Pre-Norm 归一化 → [B, N, d];三路线性投影得 Q、K、V,各 [B, N, d]。
- 多头切分并转置 → 各 [B, H, N, d_head]。
- QKᵀ → [B, H, N, N];除以 √d_head 缩放;沿最后一维 softmax;与 V 相乘 → [B, H, N, d_head]。
- 头拼接 → [B, N, d];输出投影 → [B, N, d];残差相加 → [B, N, d]。
- 归一化 → FFN 升维 [B, N, d_ff] → 激活 → 降维 [B, N, d] → 残差相加。
- L 个 Block 堆叠后做最终归一化,接输出层投影得 logits [B, N, V],按交叉熵计算损失。
示意性伪代码(与具体框架无关):
def transformer_block(x, params, pre_norm=True, seq_len=None):# x: [B, N, d]if pre_norm:h = layer_norm(x, params.ln1)x = x + attention(h, params.attn)h = layer_norm(x, params.ln2)x = x + ffn(h, params.ffn)else:h = attention(x, params.attn)x = layer_norm(x + h, params.ln1)h = ffn(x, params.ffn)x = layer_norm(x + h, params.ln2)return xdef attention(x, attn):q, k, v = linear(x, attn.wq), linear(x, attn.wk), linear(x, attn.wv)# [B, N, d] -> [B, H, N, d_head]q, k, v = split_heads(q, attn.h), split_heads(k, attn.h), split_heads(v, attn.h)scale = 1.0 / math.sqrt(attn.d_head)scores = matmul(q, transpose(k, -1, -2)) * scale # [B, H, N, N] <- O(N^2) 来源probs = softmax(scores, dim=-1)out = matmul(probs, v) # [B, H, N, d_head]out = merge_heads(out) # [B, N, d]return linear(out, attn.wo)
七、典型场景选择
- 学习与研究阶段:建议先把 Post-Norm 与 Pre-Norm 各实现一遍,打印各层激活的均值方差随深度的变化,直观理解”残差通路被归一化介入”的后果;再用小规模模型对比绝对位置编码与旋转式编码在长度外推任务上的行为差异。
- 长上下文应用:重点评估注意力访存与缓存管理,位置编码方案要与插值/缩放策略一起考虑,而不是单独替换。
- 高吞吐批处理服务:瓶颈常落在 FFN 与权重的计算效率上,权重量化、算子融合、动态批次的收益通常更直接。
- 资源受限的训练环境:倾向 Pre-Norm 一类对超参更宽容的组合,减少反复调参成本。
八、选型建议
结构选择应遵循条件化判断而非绝对化结论:
- 先量化再决策:用实际序列长度、d 与 d_ff 估算 Attention 与 FFN 的 FLOPs 与激活显存,明确瓶颈在哪一侧,再决定优化方向。
- 稳定性优先于理论上限:训练不稳定时,收益最高的往往是归一化位置、初始化尺度、学习率与 warmup 组合,而非替换某个模块。
- 把外推需求写进验收条件:若业务要求支持长度显著超过训练长度的输入,需在设计阶段就规划位置编码策略与评测集,而不是上线后补救。
- 保持结构可替换:把归一化位置、位置编码方式做成配置项,便于在同一套代码上做 A/B 对比实验。
九、迁移与改造注意事项
- 权重兼容:更换归一化位置会改变残差通路的尺度分布,原有检查点通常无法直接复用,需评估重新训练或渐进迁移的成本。
- 位置编码切换:改动注入方式往往涉及全部层的计算图,需同步更新缓存逻辑与推理实现,并单独验证生成一致性。
- 数值精度:softmax 前的大数值、长序列累积误差、低精度训练下的溢出,都要有对应的稳定性处理与监控。
- 观测手段:迁移期务必保留逐层激活统计、梯度范数、注意力分布等指标,用数据而非直觉判断是否回退。
- 评测覆盖:至少包含短序列正确性、目标长度表现、超长输入退化行为三类用例。
十、总结
围绕原始笔记的五个要点,本文的对比结论可以收敛为三句话:Self-Attention 与 FFN 的分工决定了复杂度阶数——前者 O(N²) 的访存压力随长度平方增长,后者线性且硬件友好;绝对位置式编码与旋转式编码的差别在于位置信息以何种形式参与 QKᵀ 打分,长度外推能力取决于配套策略而非编码本身;Pre-Norm 与 Post-Norm 的取舍本质是”残差通路干净度”与”子层表达充分度”之间的权衡。理解这三组差异,就等于掌握了后续分析显存占用、并行切分与推理加速的共同语言。

登录后可评论,请前往 登录 或 注册