Transformer 与 MLP 的区别:从原理到实现完整教程
作者:梅琳marlin2026.11.18 11:24浏览量:0简介:本教程帮助你从工程实现角度彻底厘清 Transformer 与 MLP 的区别,理解二者并非并列关系,而是"整体与部件"的关系——MLP 既是一种独立的前馈网络结构,也是 Transformer 内部 FFN 子层的核心组件。完成本教程后,你将能分别用通用伪代码实现独立 MLP 与 Transformer 核心子层,讲清两者在结构、参数规模与信息交互方式上的差异,并独立搭建一个最小可运行的 Transformer Block 完成验证。
教程目标
很多人第一次接触深度学习时会有一个直觉误解:以为 Transformer 和 MLP 是同一层面的”两种模型”,需要二选一。事实恰恰相反——MLP 是 Transformer 内部的组成单元之一。本教程的目标是带你从原理到代码把这件事彻底讲清楚。
完成本教程后,你应该能够做到:
- 用通用伪代码独立实现一个标准的 MLP(多层感知器/前馈网络);
- 实现 Transformer 的两个核心子层:自注意力(Self-Attention)与前馈网络(FFN,本质就是一个 MLP);
- 把两者组装成一个最小可运行的 Transformer Block,并理解残差连接与归一化在其中的作用;
- 用参数量估算、张量形状推导等方法,从工程角度验证你对结构差异的理解是否正确。
适用读者与场景
本教程适合以下读者:
- 已经会调用现成模型库、但想进一步理解内部结构的开发者;
- 需要做模型选型、架构评审或成本评估的技术负责人;
- 排查过”参数量异常偏大””训练不收敛””模型对词序不敏感”等问题的工程师。
典型落地场景包括:自研或改造序列模型、阅读源码时定位模块职责、评估不同结构在推理算力与显存上的开销差异。
前置准备
在动手前,请确认你具备以下基础,否则后续的形状推导会较为吃力:
- 基本线性代数:矩阵乘法、向量、张量的维度(形状)概念;
- 深度学习基础:前向传播、损失函数、反向传播与梯度下降的直觉;
- 一种通用的张量运算能力(无需指定具体框架,理解数组与矩阵运算即可);
- 一个可运行张量计算的环境,本地或云上开发环境均可。
关于环境,如果你选择云上开发环境,可以使用通用的”计算实例/容器平台”类目产品来准备运行环境,把依赖装好后即可开始编码;这与在本地准备环境在步骤上是一致的,差别只在算力来源。
第一步:厘清两个概念的本质
MLP 是什么
MLP(多层感知器,Multilayer Perceptron)由若干”全连接层 + 非线性激活函数”堆叠而成。它最小的有意义形态是两层:先通过一次线性变换把输入映射到一个(通常更宽的)隐层,经过非线性激活,再通过一次线性变换映射回目标维度。
其单层的计算可以写成通用形式:
def linear(x, W, b):return matmul(x, W) + b # x: [..., d_in],W: [d_in, d_out],输出 [..., d_out]def relu(x):return max(0, x)def mlp_layer(x):# 先升维、非线性、再降维的经典 FFN 结构h = linear(x, W1, b1) # 升到隐层维度h = gelu(h) # 非线性return linear(h, W2, b2) # 降回原维度
关键点:MLP 是”逐位置独立”的。如果输入是一个序列 [序列长度, 特征维度],MLP 会对每个位置的向量各自做同样的变换,位置之间互不影响。这一点非常重要,它是理解 Transformer 分工的钥匙。
Transformer 是什么
Transformer 是一个完整架构,由”嵌入 + 位置编码 + N 层相同的 Block”堆叠而成。每一个 Block 内部有两个子层:
- 自注意力子层(Self-Attention):负责在序列的不同位置之间做信息交换,让每个 token 能”看到”其他 token;
- 前馈网络子层(FFN):负责在每个位置内部做特征变换。
而 FFN 本身,正是一个两层 MLP。所以结论是:MLP 是 Transformer 的零件,Transformer 是包含 MLP 的整体。 把二者当作并列对比对象是错误的问法,正确的问法是”MLP 在 Transformer 中扮演什么角色,与自注意力如何分工”。
第二步:实现自注意力子层
自注意力是 Transformer 相对独立 MLP 的本质差异所在。独立 MLP 无法建模位置间关系,而自注意力通过查询、键、值三者完成加权聚合:
def self_attention(x, Wq, Wk, Wv, Wo, n_heads):# x: [seq_len, d_model]Q = linear(x, Wq) # 查询K = linear(x, Wk) # 键V = linear(x, Wv) # 值scores = matmul(Q, transpose(K)) / sqrt(d_k) # 注意力分数attn = softmax(scores, axis=key_axis) # 归一化为权重context = matmul(attn, V) # 加权聚合return linear(context, Wo) # 输出投影
要点说明:
- 为什么要除以
sqrt(d_k):当键维度较大时,点积数值会偏大,导致 softmax 进入梯度极小的饱和区。缩放是为了稳定训练,这是通用工程做法,务必不要省略; - 多头(multi-head):把上面的计算并行做多组,让模型在不同子空间捕捉不同类型的关系,再把结果拼接后投影回去;
- 与 MLP 的对照:注意力输出中,每个位置的结果由”所有位置”共同决定;而 FFN 中每个位置的结果只由”它自己”决定。这正是二者信息交互方式的根本区别。
第三步:组装前馈网络子层(Transformer 里的 MLP)
Transformer Block 里的 FFN,就是第一步里那个 mlp_layer。它通常采用”先升到 4 倍维度、再降回原维度”的结构:
def ffn(x, W1, W2):# d_model -> 4 * d_model -> d_modelreturn linear(gelu(linear(x, W1)), W2)
请特别注意:这个 MLP 是逐位置作用(position-wise)的。也就是说,即便输入是一个句子,FFN 也不会跨 token 交互——跨 token 的事全部交给上一步的自注意力去完成。这就是”注意力负责通信、FFN 负责加工”的分工。
第四步:组装并叠加 Transformer Block
把两个子层用残差连接和归一化包起来,就得到一个标准 Block:
def transformer_block(x):# 子层一:注意力 + 残差 + 归一化x = x + self_attention(layer_norm(x))# 子层二:FFN(MLP) + 残差 + 归一化x = x + ffn(layer_norm(x))return x
要点说明:
- 残差连接(
x + ...):让梯度能顺畅回传,是深层网络能训练起来的关键; - 归一化(Layer Norm):稳定每层输入分布,加快收敛;
- 为什么把 Block 叠加 N 层:单层表达能力有限,多层堆叠才能逐步构建从局部到全局的语义表示。
至此你已经把”MLP(FFN)”和”自注意力”组合成了完整的 Transformer Block,结构上的包含关系一目了然。
配置说明
在实现和调参时,有几个配置项需要理解其含义与取值逻辑(以下为通用概念,非某具体产品的专有参数):
- 模型维度(d_model):决定每个 token 的向量长度,越大表达能力越强,但算力与显存开销按平方级增长;
- 隐层维度(通常为 4 × d_model):FFN 的扩张倍数,是 Transformer 中参数量占比最大的部分,缩小时要谨慎评估对效果的影响;
- 注意力头数(n_heads):需能整除 d_model,头数过多会导致每头维度过小,收益递减;
- 序列长度:注意力开销随序列长度呈平方增长,长序列场景要特别关注显存与延迟。
配置风险提醒:调大 d_model 或隐层倍数会显著增加参数量和计算量,务必结合目标硬件的显存与延迟预算,不要盲目堆叠。
结果验证
如何判断你的实现是否正确?建议按以下顺序自检:
- 形状验证:逐层打印张量形状。注意力输出应与输入同为
[seq_len, d_model];FFN 中途会临时升到[seq_len, 4*d_model]再降回。 - 信息交互验证:构造一个”只看单点无法判断、必须跨位置比较”的小任务,验证带注意力的结构能解、而纯逐位置 MLP 无法解,以此直观确认二者差异。
- 参数量核对:手动按公式计算参数量,与代码中统计到的参数量比对,能暴露隐层维度配置错误。
- 训练收敛验证:在小型数据集上跑通若干步,观察损失是否稳定下降;若第一步就 NaN,优先怀疑缩放项或初始化。
常见问题与排查
- 损失为 NaN:多因注意力未做缩放或学习率过大。先检查
sqrt(d_k)是否实现,再调低学习率。 - 模型对词序不敏感:说明位置信息缺失。确认位置编码是否加入,纯注意力本身不含顺序信息。
- 显存溢出:常见于长序列或过大维度。可减小批大小、缩短序列,或采用梯度累积等通用手段。
- 参数量远大于预期:几乎都是 FFN 隐层维度设置过大导致,核对扩张倍数。
- 训练极慢:检查是否重复计算、是否误用逐元素操作替代了批量矩阵运算。
优化建议
- 性能:FFN 是参数量与算力的主要来源,在算力受限时优先在此处做权衡;注意力计算可通过分块等手段降低长序列开销。
- 稳定性:始终保留缩放与归一化,配合合理的初始化与梯度裁剪。
- 可维护性:把自注意力、FFN、Block 拆成独立可测的模块,便于单元验证与替换。
- 成本控制:若使用云上算力资源,建议结合监控告警观察利用率,按训练/推理阶段弹性调整算力配置,避免闲置浪费。
总结
回顾本教程:MLP 与 Transformer 不是”二选一”的对比关系,而是”部件与整体”的包含关系。独立 MLP 逐位置做特征变换、无法跨位置交互;Transformer 则用自注意力解决跨位置通信,用内部的 FFN(本质就是 MLP)解决逐位置的特征加工。我们依次实现了 MLP、自注意力、FFN,并用残差与归一化组装出完整的 Transformer Block,最后给出了形状、参数量、收敛等多维度的验证与排查方法。
后续你可以继续深入的方向包括:位置编码的多种实现、注意力的高效变体、以及不同结构在推理阶段的显存与延迟实测对比。

登录后可评论,请前往 登录 或 注册