Transformer通俗教程:从原理到生成流程
作者:有好多问题2026.11.18 11:21浏览量:0简介:Transformer如何把输入序列转换成输出序列?本文以编码器—解码器结构为主线,逐步讲解分词、向量表示、注意力计算、因果掩码与自回归生成,并通过张量形状、通用伪代码和验证方法串联完整流程,帮助初学者建立准确直觉,也为开发者实现与排查模型提供清晰路径。
一、教程目标:看懂并复现一次序列生成
本教程帮助你完成一个明确任务:以经典编码器—解码器式Transformer为例,梳理输入文本如何变成向量、如何被编码器理解,以及解码器怎样依据输入逐个生成输出token。
读完后,你应当能够:
- 画出从输入文本到输出文本的数据流。
- 解释查询、键、值在注意力计算中的作用。
- 区分编码器自注意力、解码器因果自注意力与交叉注意力。
- 根据张量形状检查实现是否合理。
- 用小规模测试验证掩码与生成逻辑。
本文适合具备基础编程知识的开发者,以及希望理解模型运行机制的技术负责人。无需先掌握复杂数学推导,但建议了解向量、矩阵乘法和概率分布。
需要先澄清:Transformer是一类模型架构,并不都同时包含编码器与解码器。仅编码器结构常用于表示学习,仅解码器结构常用于自回归生成。下面以经典的编码器—解码器结构展开,避免混淆不同变体。
二、准备工作:先确定任务与符号
1. 选择一个便于观察的任务
可以使用短句改写任务:
输入:“今天有雨,出门记得带伞。”
目标输出:“今天出门请携带雨伞。”
这里的重点不是训练出高质量模型,而是理解数据如何流动。如果要实际训练,需要准备大量合法获取、经过清洗的输入—目标文本对,并划分训练集与验证集。单个样例只能用于检查流程,不能代表模型具备泛化能力。
2. 理解token不一定是一个字或一个词
token是模型处理的离散单位,可以对应字符、词或子词片段。具体如何切分,由分词规则与词表决定。
例如,“今天有雨”可能被切分为:
["今天", "有", "雨"]
也可能采用更细粒度的切分方式。实现时必须保证训练和推理使用一致的分词规则、词表与特殊标记编号,否则同一个编号可能对应不同含义。
3. 统一张量维度
后文采用以下符号:
| 符号 | 含义 |
|---|---|
| B | 批次大小 |
| S | 输入序列长度 |
| T | 目标序列长度 |
| D | 模型隐藏维度 |
| H | 注意力头数 |
| V | 目标词表大小 |
常见实现中,每个注意力头的维度为D/H,因此通常要求D能被H整除。这是常见实现约定,并不是所有变体都必须采用的唯一方式。
三、步骤一:将token编号转换成向量
做什么
先把输入文本切分为token,再映射为整数编号:
输入文本 → token列表 → 编号列表
编号本身不表达语义。例如,编号20并不意味着它比编号10“重要两倍”。因此,需要通过嵌入层将每个编号映射成D维向量。
批量输入的形状通常变化为:
[B, S] → [B, S, D]
为什么还需要位置信息
注意力计算本身不能自动得知词语位于第几个位置,而“我帮助你”和“你帮助我”的顺序差异会改变含义。
经典做法是把位置编码加入token嵌入:
输入表示 = token嵌入 + 位置编码
位置编码可以使用固定函数,也可以通过训练学习。初学阶段选择一种一致的方案即可,不必同时实现多种位置机制。
注意事项
不同长度的句子通常需要填充到统一长度,以便组成批次。填充位置虽然进入张量,但不应被当作真实内容参与有效注意力或损失统计,后续必须配合掩码处理。
四、步骤二:理解注意力中的查询、键和值
注意力可以理解为一个“按相关性读取信息”的过程:
- 查询Q:当前位置希望寻找什么信息。
- 键K:每个候选位置提供什么匹配线索。
- 值V:匹配后真正被读取和汇总的信息。
对于输入表示X,常见计算方式是:
Q = XWqK = XWkV = XWv
其中,Wq、Wk、Wv都是可训练矩阵。它们不是人工编写的规则,而是在训练过程中逐步学习。
缩放点积注意力为:
Attention(Q, K, V)= softmax(QKᵀ / √dk + M)V
这里:
QKᵀ计算查询与各个键的匹配分数。√dk用于缩放,避免点积分值随维度增大而过大。M是掩码,允许访问的位置通常加0,被禁止的位置加负无穷。softmax把分数转换成非负、总和为1的权重。- 最后对V进行加权求和,形成新的表示。
用数值建立直觉
假设某个位置对三个有效位置的注意力权重为:
[0.2, 0.5, 0.3]
输出就是:
0.2 × V1 + 0.5 × V2 + 0.3 × V3
这意味着模型在当前计算中更重视第二个位置,但不等于第二个位置对所有任务都更重要。注意力权重也不能直接等同于完整、可靠的因果解释。
多头注意力解决什么问题
单组注意力只形成一种匹配方式。多头注意力使用多组投影,让不同头有机会关注不同关系,之后将结果拼接并映射回隐藏维度。
不能预先断言某个头一定学习语法、另一个头一定学习指代;这些只是可能观察到的模式,并非架构保证。
五、步骤三:通过编码器形成上下文表示
经典编码器层通常包含两个主要子层:
- 多头自注意力。
- 逐位置前馈网络。
两者周围还会使用残差连接和归一化,训练时通常会加入随机失活等正则化机制。
1. 编码器自注意力
编码器中,Q、K、V都来源于同一层输入,所以称为“自注意力”。
在处理完整输入的常见场景下,一个真实token可以关注其他所有真实输入token。这使“雨”“出门”“带伞”等位置能够交换信息,形成结合上下文的表示。
如果存在填充位置,需要屏蔽填充键,避免有效位置把注意力分给无意义内容。
2. 前馈网络
前馈网络分别作用于每个位置的向量,通常先映射到更大的中间维度,经过非线性变换,再映射回D维。不同位置共享同一组网络参数。
注意力负责跨位置的信息交互,前馈网络负责对各位置表示进行非线性加工,两者作用不同。
3. 准确理解编码器输出
编码器最终输出通常是:
编码器上下文表示:[B, S, D]
将编码器概括为“输出键和值”便于入门,但不够严格。更准确的说法是:编码器先输出上下文表示,解码器各层的交叉注意力再通过各自的投影矩阵,从这些表示计算K和V。
编码器各层仍需依次执行;所谓并行,主要指同一层内多个序列位置可以并行计算,并不意味着所有层同时完成。
六、步骤四:让解码器只使用允许的信息
解码器同时需要两类信息:
- 已经生成或训练时提供的目标前缀。
- 编码器提供的输入上下文。
经典解码器层通常依次包括:
因果自注意力 → 交叉注意力 → 前馈网络
各子层同样配合残差连接和归一化。
1. 因果自注意力:防止提前看到答案
假设目标序列为:
[今天, 出门, 请, 携带, 雨伞, 结束]
预测“请”时,模型只能使用此前已经提供的目标token,不能看到后面的“携带”“雨伞”。
因此,需要构造因果掩码,禁止当前位置关注未来位置:
允许关注关系:位置1:1位置2:1、2位置3:1、2、3
在采用右移输入的训练方式中,当前位置虽然可以关注自身,但自身存放的是前一个目标token,而不是当前要预测的答案,因此不会造成答案泄漏。
2. 交叉注意力:从输入中读取相关内容
交叉注意力的来源不同:
Q:来自解码器当前表示K、V:来自编码器上下文表示的投影
这样,解码器在生成“雨伞”时,可以从输入中读取与“雨”“带伞”相关的信息。
交叉注意力的权重形状通常包含[B, H, T, S],分别表示每个目标位置对各个输入位置的关注程度。它通常不使用目标侧的三角因果掩码,但需要屏蔽输入中的填充位置。
3. 输出词表概率
解码器输出隐藏表示后,经过线性映射得到词表分数:
[B, T, D] → [B, T, V]
对词表维度执行softmax,即可得到每个位置上各个候选token的概率。
七、步骤五:区分训练与推理
训练阶段:右移目标,批量预测
训练时,目标输入与预测标签通常错开一个位置:
解码器输入:[开始, 今天, 出门, 请, 携带, 雨伞]预测标签: [今天, 出门, 请, 携带, 雨伞, 结束]
这种方式称为教师强制:模型使用真实目标前缀预测下一个token。
由于整个目标序列已知,并且有因果掩码阻止未来信息泄漏,多个目标位置可以在同一次前向计算中并行训练。损失通常采用交叉熵,并忽略填充位置。
推理阶段:逐个生成
推理时没有完整答案,只能从开始标记出发:
输入编码 → 开始标记 → 预测第一个token→ 加入已有前缀→ 再预测下一个token→ 直到结束
通用伪代码如下:
源编号 = 分词并编码(输入文本)上下文 = 编码器(源编号, 源填充掩码)已生成 = [开始标记]重复执行,直到达到最大生成长度:隐藏表示 = 解码器(已生成,上下文,因果掩码,源填充掩码)最后位置分数 = 词表映射(隐藏表示的最后位置)下一个token = 按选定策略选择(最后位置分数)将下一个token加入已生成如果下一个token是结束标记:停止输出文本 = 解码token序列(已生成)
初次验证建议使用每步选择最高分token的贪心策略,便于复现。采样策略可以增加输出变化,但不适合作为最初的正确性检查。
八、结果验证:确认流程真的正确
1. 检查张量形状
重点核对:
编码器输出:[B, S, D]解码器输出:[B, T, D]词表分数: [B, T, V]
多头拆分、转置与拼接时,还应检查序列维和头维是否放在预期位置。许多错误不会立即报错,却会让模型学习异常。
2. 检查因果掩码
关闭随机失活等随机因素,保持目标前缀相同,只修改后续目标token。
如果掩码正确,修改位置之前的输出应保持一致,允许存在合理的浮点误差。若前面位置也明显变化,应检查是否发生未来信息泄漏。
3. 检查填充掩码
在有效输入不变的情况下,增加被正确屏蔽的尾部填充位置。有效位置的输出应基本一致。
如果变化很大,应检查填充掩码是否加在正确维度,以及填充位置是否进入了损失统计。
4. 进行小数据拟合测试
使用少量固定样本,观察模型是否能够明显降低训练损失,并逐渐复现训练目标。这可以检查数据对齐、梯度传播和优化流程。
但拟合少量样本只是排错手段,不代表模型在新输入上表现良好,仍需单独验证泛化效果。
九、常见问题与排查顺序
问题一:训练损失很低,推理结果却很差
优先检查目标是否正确右移,以及训练时是否缺少因果掩码。模型如果训练时能直接看到答案,损失可能很好看,但推理时无法复现这种条件。
此外,训练使用真实前缀,推理使用自身生成的前缀,两者存在差异,早期错误可能逐步累积。
问题二:输出重复或始终无法结束
检查结束标记是否出现在训练标签中,生成停止条件是否正确,以及训练数据是否存在大量重复内容。
务必设置最大生成长度,避免因为模型没有生成结束标记而无限循环。
问题三:注意力出现无效数值
检查是否有某一行的所有键都被屏蔽。全部分数均为负无穷时,softmax可能产生无效结果。
同时检查学习率、梯度数值和计算精度,不能简单把所有数值问题都归因于掩码。
问题四:序列变长后内存占用明显增加
标准全注意力需要处理位置两两之间的关系,自注意力分数矩阵的规模随序列长度近似平方增长。
可以先控制输入长度、减小批次,并按相近长度组织样本,减少无效填充。对于更复杂的长序列优化,应在正确实现基础上另行评估,不能直接假定不会影响模型行为。
十、优化建议与学习总结
在基础流程正确之后,可以继续做三类改进:
- 提高生成效率:缓存解码器历史位置的K、V,减少重复计算;编码器上下文及其交叉注意力投影也可按实现条件复用。缓存会消耗内存,并不意味着生成成本完全不随长度增长。
- 提高可维护性:把分词规则、词表、模型结构、特殊标记与训练配置一并保存,避免只保存权重却无法重建推理环境。
- 提高评估可靠性:固定验证样本,分别记录损失、生成结果、时延与资源占用;生产场景还应关注输入数据权限和日志中的敏感信息。
理解Transformer,最重要的不是记住“token进、token出”,而是掌握这条完整链路:
token编号通过嵌入与位置表示形成输入;编码器生成上下文表示;解码器使用因果自注意力处理目标前缀,再通过交叉注意力读取输入信息,最终预测下一个token。
沿着这条链路逐步检查形状、掩码、标签对齐和停止条件,就能把抽象的结构图转化为可验证、可排查的实际计算流程。

登录后可评论,请前往 登录 或 注册