logo

Transformer 与 MLP 的区别:从原理到实现完整教程

作者:梅琳marlin2026.11.18 11:24浏览量:0

简介:本教程帮助你从工程实现角度彻底厘清 Transformer 与 MLP 的区别,理解二者并非并列关系,而是"整体与部件"的关系——MLP 既是一种独立的前馈网络结构,也是 Transformer 内部 FFN 子层的核心组件。完成本教程后,你将能分别用通用伪代码实现独立 MLP 与 Transformer 核心子层,讲清两者在结构、参数规模与信息交互方式上的差异,并独立搭建一个最小可运行的 Transformer Block 完成验证。

教程目标

很多人第一次接触深度学习时会有一个直觉误解:以为 Transformer 和 MLP 是同一层面的”两种模型”,需要二选一。事实恰恰相反——MLP 是 Transformer 内部的组成单元之一。本教程的目标是带你从原理到代码把这件事彻底讲清楚。

完成本教程后,你应该能够做到:

  • 用通用伪代码独立实现一个标准的 MLP(多层感知器/前馈网络);
  • 实现 Transformer 的两个核心子层:自注意力(Self-Attention)与前馈网络(FFN,本质就是一个 MLP);
  • 把两者组装成一个最小可运行的 Transformer Block,并理解残差连接与归一化在其中的作用;
  • 用参数量估算、张量形状推导等方法,从工程角度验证你对结构差异的理解是否正确。

适用读者与场景

本教程适合以下读者:

  • 已经会调用现成模型库、但想进一步理解内部结构的开发者;
  • 需要做模型选型、架构评审或成本评估的技术负责人;
  • 排查过”参数量异常偏大””训练不收敛””模型对词序不敏感”等问题的工程师。

典型落地场景包括:自研或改造序列模型、阅读源码时定位模块职责、评估不同结构在推理算力与显存上的开销差异。

前置准备

在动手前,请确认你具备以下基础,否则后续的形状推导会较为吃力:

  • 基本线性代数:矩阵乘法、向量、张量的维度(形状)概念;
  • 深度学习基础:前向传播、损失函数、反向传播与梯度下降的直觉;
  • 一种通用的张量运算能力(无需指定具体框架,理解数组与矩阵运算即可);
  • 一个可运行张量计算的环境,本地或云上开发环境均可。

关于环境,如果你选择云上开发环境,可以使用通用的”计算实例/容器平台”类目产品来准备运行环境,把依赖装好后即可开始编码;这与在本地准备环境在步骤上是一致的,差别只在算力来源。

第一步:厘清两个概念的本质

MLP 是什么

MLP(多层感知器,Multilayer Perceptron)由若干”全连接层 + 非线性激活函数”堆叠而成。它最小的有意义形态是两层:先通过一次线性变换把输入映射到一个(通常更宽的)隐层,经过非线性激活,再通过一次线性变换映射回目标维度。

其单层的计算可以写成通用形式:

  1. def linear(x, W, b):
  2. return matmul(x, W) + b # x: [..., d_in],W: [d_in, d_out],输出 [..., d_out]
  3. def relu(x):
  4. return max(0, x)
  5. def mlp_layer(x):
  6. # 先升维、非线性、再降维的经典 FFN 结构
  7. h = linear(x, W1, b1) # 升到隐层维度
  8. h = gelu(h) # 非线性
  9. return linear(h, W2, b2) # 降回原维度

关键点:MLP 是”逐位置独立”的。如果输入是一个序列 [序列长度, 特征维度],MLP 会对每个位置的向量各自做同样的变换,位置之间互不影响。这一点非常重要,它是理解 Transformer 分工的钥匙。

Transformer 是什么

Transformer 是一个完整架构,由”嵌入 + 位置编码 + N 层相同的 Block”堆叠而成。每一个 Block 内部有两个子层:

  1. 自注意力子层(Self-Attention):负责在序列的不同位置之间做信息交换,让每个 token 能”看到”其他 token;
  2. 前馈网络子层(FFN):负责在每个位置内部做特征变换。

而 FFN 本身,正是一个两层 MLP。所以结论是:MLP 是 Transformer 的零件,Transformer 是包含 MLP 的整体。 把二者当作并列对比对象是错误的问法,正确的问法是”MLP 在 Transformer 中扮演什么角色,与自注意力如何分工”。

第二步:实现自注意力子层

自注意力是 Transformer 相对独立 MLP 的本质差异所在。独立 MLP 无法建模位置间关系,而自注意力通过查询、键、值三者完成加权聚合:

  1. def self_attention(x, Wq, Wk, Wv, Wo, n_heads):
  2. # x: [seq_len, d_model]
  3. Q = linear(x, Wq) # 查询
  4. K = linear(x, Wk) # 键
  5. V = linear(x, Wv) # 值
  6. scores = matmul(Q, transpose(K)) / sqrt(d_k) # 注意力分数
  7. attn = softmax(scores, axis=key_axis) # 归一化为权重
  8. context = matmul(attn, V) # 加权聚合
  9. return linear(context, Wo) # 输出投影

要点说明:

  • 为什么要除以 sqrt(d_k):当键维度较大时,点积数值会偏大,导致 softmax 进入梯度极小的饱和区。缩放是为了稳定训练,这是通用工程做法,务必不要省略;
  • 多头(multi-head):把上面的计算并行做多组,让模型在不同子空间捕捉不同类型的关系,再把结果拼接后投影回去;
  • 与 MLP 的对照:注意力输出中,每个位置的结果由”所有位置”共同决定;而 FFN 中每个位置的结果只由”它自己”决定。这正是二者信息交互方式的根本区别。

第三步:组装前馈网络子层(Transformer 里的 MLP)

Transformer Block 里的 FFN,就是第一步里那个 mlp_layer。它通常采用”先升到 4 倍维度、再降回原维度”的结构:

  1. def ffn(x, W1, W2):
  2. # d_model -> 4 * d_model -> d_model
  3. return linear(gelu(linear(x, W1)), W2)

请特别注意:这个 MLP 是逐位置作用(position-wise)的。也就是说,即便输入是一个句子,FFN 也不会跨 token 交互——跨 token 的事全部交给上一步的自注意力去完成。这就是”注意力负责通信、FFN 负责加工”的分工。

第四步:组装并叠加 Transformer Block

把两个子层用残差连接和归一化包起来,就得到一个标准 Block:

  1. def transformer_block(x):
  2. # 子层一:注意力 + 残差 + 归一化
  3. x = x + self_attention(layer_norm(x))
  4. # 子层二:FFN(MLP) + 残差 + 归一化
  5. x = x + ffn(layer_norm(x))
  6. return x

要点说明:

  • 残差连接(x + ...):让梯度能顺畅回传,是深层网络能训练起来的关键;
  • 归一化(Layer Norm):稳定每层输入分布,加快收敛;
  • 为什么把 Block 叠加 N 层:单层表达能力有限,多层堆叠才能逐步构建从局部到全局的语义表示。

至此你已经把”MLP(FFN)”和”自注意力”组合成了完整的 Transformer Block,结构上的包含关系一目了然。

配置说明

在实现和调参时,有几个配置项需要理解其含义与取值逻辑(以下为通用概念,非某具体产品的专有参数):

  • 模型维度(d_model):决定每个 token 的向量长度,越大表达能力越强,但算力与显存开销按平方级增长;
  • 隐层维度(通常为 4 × d_model):FFN 的扩张倍数,是 Transformer 中参数量占比最大的部分,缩小时要谨慎评估对效果的影响;
  • 注意力头数(n_heads):需能整除 d_model,头数过多会导致每头维度过小,收益递减;
  • 序列长度:注意力开销随序列长度呈平方增长,长序列场景要特别关注显存与延迟。

配置风险提醒:调大 d_model 或隐层倍数会显著增加参数量和计算量,务必结合目标硬件的显存与延迟预算,不要盲目堆叠。

结果验证

如何判断你的实现是否正确?建议按以下顺序自检:

  1. 形状验证:逐层打印张量形状。注意力输出应与输入同为 [seq_len, d_model];FFN 中途会临时升到 [seq_len, 4*d_model] 再降回。
  2. 信息交互验证:构造一个”只看单点无法判断、必须跨位置比较”的小任务,验证带注意力的结构能解、而纯逐位置 MLP 无法解,以此直观确认二者差异。
  3. 参数量核对:手动按公式计算参数量,与代码中统计到的参数量比对,能暴露隐层维度配置错误。
  4. 训练收敛验证:在小型数据集上跑通若干步,观察损失是否稳定下降;若第一步就 NaN,优先怀疑缩放项或初始化。

常见问题与排查

  • 损失为 NaN:多因注意力未做缩放或学习率过大。先检查 sqrt(d_k) 是否实现,再调低学习率。
  • 模型对词序不敏感:说明位置信息缺失。确认位置编码是否加入,纯注意力本身不含顺序信息。
  • 显存溢出:常见于长序列或过大维度。可减小批大小、缩短序列,或采用梯度累积等通用手段。
  • 参数量远大于预期:几乎都是 FFN 隐层维度设置过大导致,核对扩张倍数。
  • 训练极慢:检查是否重复计算、是否误用逐元素操作替代了批量矩阵运算。

优化建议

  • 性能:FFN 是参数量与算力的主要来源,在算力受限时优先在此处做权衡;注意力计算可通过分块等手段降低长序列开销。
  • 稳定性:始终保留缩放与归一化,配合合理的初始化与梯度裁剪。
  • 可维护性:把自注意力、FFN、Block 拆成独立可测的模块,便于单元验证与替换。
  • 成本控制:若使用云上算力资源,建议结合监控告警观察利用率,按训练/推理阶段弹性调整算力配置,避免闲置浪费。

总结

回顾本教程:MLP 与 Transformer 不是”二选一”的对比关系,而是”部件与整体”的包含关系。独立 MLP 逐位置做特征变换、无法跨位置交互;Transformer 则用自注意力解决跨位置通信,用内部的 FFN(本质就是 MLP)解决逐位置的特征加工。我们依次实现了 MLP、自注意力、FFN,并用残差与归一化组装出完整的 Transformer Block,最后给出了形状、参数量、收敛等多维度的验证与排查方法。

后续你可以继续深入的方向包括:位置编码的多种实现、注意力的高效变体、以及不同结构在推理阶段的显存与延迟实测对比。

发表评论

活动