logo

Transformer通俗教程:从原理到生成流程

作者:有好多问题2026.11.18 11:21浏览量:0

简介:Transformer如何把输入序列转换成输出序列?本文以编码器—解码器结构为主线,逐步讲解分词、向量表示、注意力计算、因果掩码与自回归生成,并通过张量形状、通用伪代码和验证方法串联完整流程,帮助初学者建立准确直觉,也为开发者实现与排查模型提供清晰路径。

一、教程目标:看懂并复现一次序列生成

本教程帮助你完成一个明确任务:以经典编码器—解码器式Transformer为例,梳理输入文本如何变成向量、如何被编码器理解,以及解码器怎样依据输入逐个生成输出token。

读完后,你应当能够:

  1. 画出从输入文本到输出文本的数据流。
  2. 解释查询、键、值在注意力计算中的作用。
  3. 区分编码器自注意力、解码器因果自注意力与交叉注意力。
  4. 根据张量形状检查实现是否合理。
  5. 用小规模测试验证掩码与生成逻辑。

本文适合具备基础编程知识的开发者,以及希望理解模型运行机制的技术负责人。无需先掌握复杂数学推导,但建议了解向量、矩阵乘法和概率分布。

需要先澄清:Transformer是一类模型架构,并不都同时包含编码器与解码器。仅编码器结构常用于表示学习,仅解码器结构常用于自回归生成。下面以经典的编码器—解码器结构展开,避免混淆不同变体。

二、准备工作:先确定任务与符号

1. 选择一个便于观察的任务

可以使用短句改写任务:

输入:“今天有雨,出门记得带伞。”

目标输出:“今天出门请携带雨伞。”

这里的重点不是训练出高质量模型,而是理解数据如何流动。如果要实际训练,需要准备大量合法获取、经过清洗的输入—目标文本对,并划分训练集与验证集。单个样例只能用于检查流程,不能代表模型具备泛化能力。

2. 理解token不一定是一个字或一个词

token是模型处理的离散单位,可以对应字符、词或子词片段。具体如何切分,由分词规则与词表决定。

例如,“今天有雨”可能被切分为:

  1. ["今天", "有", "雨"]

也可能采用更细粒度的切分方式。实现时必须保证训练和推理使用一致的分词规则、词表与特殊标记编号,否则同一个编号可能对应不同含义。

3. 统一张量维度

后文采用以下符号:

符号 含义
B 批次大小
S 输入序列长度
T 目标序列长度
D 模型隐藏维度
H 注意力头数
V 目标词表大小

常见实现中,每个注意力头的维度为D/H,因此通常要求D能被H整除。这是常见实现约定,并不是所有变体都必须采用的唯一方式。

三、步骤一:将token编号转换成向量

做什么

先把输入文本切分为token,再映射为整数编号:

  1. 输入文本 → token列表 → 编号列表

编号本身不表达语义。例如,编号20并不意味着它比编号10“重要两倍”。因此,需要通过嵌入层将每个编号映射成D维向量。

批量输入的形状通常变化为:

  1. [B, S] → [B, S, D]

为什么还需要位置信息

注意力计算本身不能自动得知词语位于第几个位置,而“我帮助你”和“你帮助我”的顺序差异会改变含义。

经典做法是把位置编码加入token嵌入:

  1. 输入表示 = token嵌入 + 位置编码

位置编码可以使用固定函数,也可以通过训练学习。初学阶段选择一种一致的方案即可,不必同时实现多种位置机制。

注意事项

不同长度的句子通常需要填充到统一长度,以便组成批次。填充位置虽然进入张量,但不应被当作真实内容参与有效注意力或损失统计,后续必须配合掩码处理。

四、步骤二:理解注意力中的查询、键和值

注意力可以理解为一个“按相关性读取信息”的过程:

  • 查询Q:当前位置希望寻找什么信息。
  • 键K:每个候选位置提供什么匹配线索。
  • 值V:匹配后真正被读取和汇总的信息。

对于输入表示X,常见计算方式是:

  1. Q = XWq
  2. K = XWk
  3. V = XWv

其中,Wq、Wk、Wv都是可训练矩阵。它们不是人工编写的规则,而是在训练过程中逐步学习。

缩放点积注意力为:

  1. Attention(Q, K, V)
  2. = softmax(QKᵀ / √dk + M)V

这里:

  • QKᵀ计算查询与各个键的匹配分数。
  • √dk用于缩放,避免点积分值随维度增大而过大。
  • M是掩码,允许访问的位置通常加0,被禁止的位置加负无穷。
  • softmax把分数转换成非负、总和为1的权重。
  • 最后对V进行加权求和,形成新的表示。

用数值建立直觉

假设某个位置对三个有效位置的注意力权重为:

  1. [0.2, 0.5, 0.3]

输出就是:

  1. 0.2 × V1 + 0.5 × V2 + 0.3 × V3

这意味着模型在当前计算中更重视第二个位置,但不等于第二个位置对所有任务都更重要。注意力权重也不能直接等同于完整、可靠的因果解释。

多头注意力解决什么问题

单组注意力只形成一种匹配方式。多头注意力使用多组投影,让不同头有机会关注不同关系,之后将结果拼接并映射回隐藏维度。

不能预先断言某个头一定学习语法、另一个头一定学习指代;这些只是可能观察到的模式,并非架构保证。

五、步骤三:通过编码器形成上下文表示

经典编码器层通常包含两个主要子层:

  1. 多头自注意力。
  2. 逐位置前馈网络。

两者周围还会使用残差连接和归一化,训练时通常会加入随机失活等正则化机制。

1. 编码器自注意力

编码器中,Q、K、V都来源于同一层输入,所以称为“自注意力”。

在处理完整输入的常见场景下,一个真实token可以关注其他所有真实输入token。这使“雨”“出门”“带伞”等位置能够交换信息,形成结合上下文的表示。

如果存在填充位置,需要屏蔽填充键,避免有效位置把注意力分给无意义内容。

2. 前馈网络

前馈网络分别作用于每个位置的向量,通常先映射到更大的中间维度,经过非线性变换,再映射回D维。不同位置共享同一组网络参数。

注意力负责跨位置的信息交互,前馈网络负责对各位置表示进行非线性加工,两者作用不同。

3. 准确理解编码器输出

编码器最终输出通常是:

  1. 编码器上下文表示:[B, S, D]

将编码器概括为“输出键和值”便于入门,但不够严格。更准确的说法是:编码器先输出上下文表示,解码器各层的交叉注意力再通过各自的投影矩阵,从这些表示计算K和V。

编码器各层仍需依次执行;所谓并行,主要指同一层内多个序列位置可以并行计算,并不意味着所有层同时完成。

六、步骤四:让解码器只使用允许的信息

解码器同时需要两类信息:

  • 已经生成或训练时提供的目标前缀。
  • 编码器提供的输入上下文。

经典解码器层通常依次包括:

  1. 因果自注意力 → 交叉注意力 → 前馈网络

各子层同样配合残差连接和归一化。

1. 因果自注意力:防止提前看到答案

假设目标序列为:

  1. [今天, 出门, 请, 携带, 雨伞, 结束]

预测“请”时,模型只能使用此前已经提供的目标token,不能看到后面的“携带”“雨伞”。

因此,需要构造因果掩码,禁止当前位置关注未来位置:

  1. 允许关注关系:
  2. 位置1:1
  3. 位置2:1、2
  4. 位置3:1、2、3

在采用右移输入的训练方式中,当前位置虽然可以关注自身,但自身存放的是前一个目标token,而不是当前要预测的答案,因此不会造成答案泄漏。

2. 交叉注意力:从输入中读取相关内容

交叉注意力的来源不同:

  1. Q:来自解码器当前表示
  2. K、V:来自编码器上下文表示的投影

这样,解码器在生成“雨伞”时,可以从输入中读取与“雨”“带伞”相关的信息。

交叉注意力的权重形状通常包含[B, H, T, S],分别表示每个目标位置对各个输入位置的关注程度。它通常不使用目标侧的三角因果掩码,但需要屏蔽输入中的填充位置。

3. 输出词表概率

解码器输出隐藏表示后,经过线性映射得到词表分数:

  1. [B, T, D] → [B, T, V]

对词表维度执行softmax,即可得到每个位置上各个候选token的概率。

七、步骤五:区分训练与推理

训练阶段:右移目标,批量预测

训练时,目标输入与预测标签通常错开一个位置:

  1. 解码器输入:[开始, 今天, 出门, 请, 携带, 雨伞]
  2. 预测标签: [今天, 出门, 请, 携带, 雨伞, 结束]

这种方式称为教师强制:模型使用真实目标前缀预测下一个token。

由于整个目标序列已知,并且有因果掩码阻止未来信息泄漏,多个目标位置可以在同一次前向计算中并行训练。损失通常采用交叉熵,并忽略填充位置。

推理阶段:逐个生成

推理时没有完整答案,只能从开始标记出发:

  1. 输入编码 → 开始标记 → 预测第一个token
  2. → 加入已有前缀
  3. → 再预测下一个token
  4. → 直到结束

通用伪代码如下:

  1. 源编号 = 分词并编码(输入文本)
  2. 上下文 = 编码器(源编号, 源填充掩码)
  3. 已生成 = [开始标记]
  4. 重复执行,直到达到最大生成长度:
  5. 隐藏表示 = 解码器(
  6. 已生成,
  7. 上下文,
  8. 因果掩码,
  9. 源填充掩码
  10. )
  11. 最后位置分数 = 词表映射(隐藏表示的最后位置)
  12. 下一个token = 按选定策略选择(最后位置分数)
  13. 将下一个token加入已生成
  14. 如果下一个token是结束标记:
  15. 停止
  16. 输出文本 = 解码token序列(已生成)

初次验证建议使用每步选择最高分token的贪心策略,便于复现。采样策略可以增加输出变化,但不适合作为最初的正确性检查。

八、结果验证:确认流程真的正确

1. 检查张量形状

重点核对:

  1. 编码器输出:[B, S, D]
  2. 解码器输出:[B, T, D]
  3. 词表分数: [B, T, V]

多头拆分、转置与拼接时,还应检查序列维和头维是否放在预期位置。许多错误不会立即报错,却会让模型学习异常。

2. 检查因果掩码

关闭随机失活等随机因素,保持目标前缀相同,只修改后续目标token。

如果掩码正确,修改位置之前的输出应保持一致,允许存在合理的浮点误差。若前面位置也明显变化,应检查是否发生未来信息泄漏。

3. 检查填充掩码

在有效输入不变的情况下,增加被正确屏蔽的尾部填充位置。有效位置的输出应基本一致。

如果变化很大,应检查填充掩码是否加在正确维度,以及填充位置是否进入了损失统计。

4. 进行小数据拟合测试

使用少量固定样本,观察模型是否能够明显降低训练损失,并逐渐复现训练目标。这可以检查数据对齐、梯度传播和优化流程。

但拟合少量样本只是排错手段,不代表模型在新输入上表现良好,仍需单独验证泛化效果。

九、常见问题与排查顺序

问题一:训练损失很低,推理结果却很差

优先检查目标是否正确右移,以及训练时是否缺少因果掩码。模型如果训练时能直接看到答案,损失可能很好看,但推理时无法复现这种条件。

此外,训练使用真实前缀,推理使用自身生成的前缀,两者存在差异,早期错误可能逐步累积。

问题二:输出重复或始终无法结束

检查结束标记是否出现在训练标签中,生成停止条件是否正确,以及训练数据是否存在大量重复内容。

务必设置最大生成长度,避免因为模型没有生成结束标记而无限循环。

问题三:注意力出现无效数值

检查是否有某一行的所有键都被屏蔽。全部分数均为负无穷时,softmax可能产生无效结果。

同时检查学习率、梯度数值和计算精度,不能简单把所有数值问题都归因于掩码。

问题四:序列变长后内存占用明显增加

标准全注意力需要处理位置两两之间的关系,自注意力分数矩阵的规模随序列长度近似平方增长。

可以先控制输入长度、减小批次,并按相近长度组织样本,减少无效填充。对于更复杂的长序列优化,应在正确实现基础上另行评估,不能直接假定不会影响模型行为。

十、优化建议与学习总结

在基础流程正确之后,可以继续做三类改进:

  1. 提高生成效率:缓存解码器历史位置的K、V,减少重复计算;编码器上下文及其交叉注意力投影也可按实现条件复用。缓存会消耗内存,并不意味着生成成本完全不随长度增长。
  2. 提高可维护性:把分词规则、词表、模型结构、特殊标记与训练配置一并保存,避免只保存权重却无法重建推理环境。
  3. 提高评估可靠性:固定验证样本,分别记录损失、生成结果、时延与资源占用;生产场景还应关注输入数据权限和日志中的敏感信息。

理解Transformer,最重要的不是记住“token进、token出”,而是掌握这条完整链路:

token编号通过嵌入与位置表示形成输入;编码器生成上下文表示;解码器使用因果自注意力处理目标前缀,再通过交叉注意力读取输入信息,最终预测下一个token。

沿着这条链路逐步检查形状、掩码、标签对齐和停止条件,就能把抽象的结构图转化为可验证、可排查的实际计算流程。

发表评论

活动