logo

从分词到自注意力:逐步拆解大语言模型架构

作者:很酷cat2026.11.18 11:23浏览量:0

简介:本教程以文本生成模型为例,沿着分词、字节对编码、嵌入矩阵、位置表示、自注意力和前馈网络的计算链路,逐步讲清Transformer的内部结构。读者将学会追踪关键张量形状,理解因果掩码与多头注意力,并通过通用伪代码和检查方法验证计算过程,建立可用于学习、实现与排错的完整知识框架。

一、教程目标:沿着一段文本看清模型如何计算

学习Transformer时,常见困难不是记不住模块名称,而是不清楚模块之间如何衔接:文本怎样变成矩阵?注意力究竟计算了什么?模型为什么不能直接看到后面的答案?最后又如何得到下一个词元的概率?

本教程将围绕一条完整链路展开:

文本 → 分词 → 词元编号 → 输入嵌入 → 位置表示 → 多层Transformer模块 → 输出概率。

读完后,你应当能够完成三项任务:

  1. 根据输入长度和模型维度,写出主要中间张量的形状。
  2. 理解自注意力、因果掩码、多头机制、残差连接和前馈网络的作用。
  3. 按照通用伪代码组织一次前向计算,并用可重复的检查方法排查错误。

本文适合具备基础编程知识的开发者、希望理解模型推理过程的运维人员,以及需要评估模型结构和资源开销的技术负责人。讨论以仅解码器的自回归文本生成模型为主,不将所有Transformer都等同于这一种结构。

二、前置准备:先统一符号与基础知识

1. 需要掌握的知识

建议提前了解向量、矩阵乘法、概率分布和基本神经网络概念。若准备实际实现,还需要一个支持张量运算与自动求导的通用计算环境,但本教程不依赖具体工具。

先使用随机初始化参数检查计算链路,不需要训练数据集或预训练权重。不过,随机模型只能验证结构和数值计算,不能证明语言生成能力。

2. 本文使用的符号

符号 含义
B 批次大小
T 当前输入序列长度
V 词表大小
d 模型隐藏维度
h 注意力头数
d_h 每个注意力头的维度
d_ff 前馈网络中间层维度

常见等宽多头设计满足:

d_h = d / h

因此,选择这种设计时,d必须能被h整除。不同架构可能采用不同的投影布局,不能把这一实现约定理解为所有注意力机制的普遍限制。

三、步骤一:将文本转换为词元编号

1. 分词并不等于按汉字或空格切分

模型通常不能直接接收字符串,需要先用分词器将文本转换为词元序列,再通过词表映射成整数编号。

例如,输入:

“今天学习注意力机制”

可能被拆成:

“今天”“学习”“注意”“力”“机制”

也可能形成其他切分结果。实际边界由分词器的词表、预处理方式和编码规则决定,不应凭直觉推断。

概念流程为:

  1. 文本 = "今天学习注意力机制"
  2. 词元序列 = 分词器编码文本(文本)
  3. 编号序列 = 将词元映射为编号(词元序列)

这里的函数名只是教学伪代码,不代表某个工具的真实接口。

关键注意事项:训练和推理必须使用匹配的分词器与词表。同一个编号在不同词表中可能对应完全不同的内容,替换分词器通常不能直接沿用原模型参数。

2. 理解字节对编码的基本过程

字节对编码,简称BPE,其核心思想是反复合并高频相邻符号对。

可以用以下简化过程理解:

  1. 把训练文本表示为初始符号序列。
  2. 统计所有相邻符号对出现的频次。
  3. 将最高频的一对合并成新符号。
  4. 更新统计并继续合并,直到满足词表规模等停止条件。
  5. 保存词表和合并规则,用于后续编码。

需要区分:分词器训练阶段需要统计语料;使用已经训练好的分词器编码新文本时,通常依据已有规则处理,不会重新训练词表。

初始符号可以采用字符、字节或经过预处理的单元。字节级方案与字符级方案的覆盖范围、编码长度和可读性有所不同,不能简单认为所有BPE实现都从同一种基础单位开始。

3. 验证分词结果

先检查三件事:

  • 每个编号都处于合法词表范围内。
  • 特殊词元的插入规则符合设计。
  • 编码后再解码,结果符合分词器约定。

若分词器包含文本规范化处理,往返转换不一定保留原始文本的全部形式细节。排查时应先确认规范化规则,而不是立即判断模型出错。

四、步骤二:理解输入嵌入矩阵

1. 从整数编号变成连续向量

定义可训练的词元嵌入矩阵:

E ∈ R^(V×d)

其中每一行对应一个词元的向量。

若输入编号张量的形状为:

[B, T]

通过查表取得对应行后,得到:

X_token ∈ R^(B×T×d)

这一操作本质上是查表,不是把编号大小当作语义强弱。例如,编号100并不天然比编号10“含义更多”。

2. 区分两种容易混淆的矩阵

“嵌入矩阵”有时被用于指代不同对象,实际阅读代码和公式时应明确:

  • 词表嵌入参数E:形状为[V, d],保存整个词表的向量。
  • 当前输入的嵌入结果X_token:形状为[B, T, d],只包含当前批次的词元向量。

这一区分对排查维度错误非常重要。词表大小V与输入长度T是两个不同概念,不能互换。

3. 为什么同一个词元还能有不同含义

在嵌入查表阶段,同一个词元编号通常得到相同向量。但经过注意力层后,它会融合不同上下文的信息,从而形成与上下文有关的表示。

因此,静态词元嵌入只是起点,不能用它直接代表模型最终理解的语义。

五、步骤三:让模型知道词元顺序

标准自注意力计算本身不直接编码词元的先后位置,因此需要引入位置信息。

一种容易理解的方式是将位置向量与词元向量相加:

X = X_token + P

其中P可以具有[T, d]的形状,并沿批次维广播。

位置表示可以采用固定函数生成,也可以通过训练学习。另一些方案会在注意力计算中引入相对位置,或对查询、键向量施加与位置有关的变换,不一定直接与输入嵌入相加。

为了先验证主链路,建议采用一种明确的位置方案完成实现,避免同时混用多套不兼容的位置处理方式。

检查时重点关注:

  • 位置编号是否从预期起点开始。
  • 填充位置是否得到一致处理。
  • 增量生成时,新词元是否使用正确的后续位置。
  • 输入长度是否超出所选位置方案的设计或有效使用范围。

六、步骤四:计算单头自注意力

1. 为什么需要注意力

句子中一个词元的含义往往依赖远处内容。例如,指代关系和长距离修饰关系可能跨越多个词元。

自注意力允许每个位置根据当前表示,对其他允许访问的位置进行加权汇总,从而建立上下文联系。

它不是对文本做简单关键词匹配,而是在可训练的向量空间中计算关联程度。

2. 从输入产生查询、键和值

对于单个序列,暂时省略批次维,设:

X ∈ R^(T×d)

计算:

Q = XW_Q
K = XW_K
V_value = XW_V

其中,Q是查询,K是键,V_value是值。这里使用V_value,是为了避免与词表大小V混淆。

一种直观理解是:

  • 查询表达当前位置希望检索什么信息。
  • 键表达每个位置可用于匹配的特征。
  • 值承载最终被汇总的信息。

三者都由输入经过可训练投影得到,并不是人工指定的标签。

3. 计算注意力分数

若查询和键的最后一维为d_k,则:

S = QKᵀ / √d_k

S的形状为[T, T]。第i行、第j列表示位置i对位置j的匹配分数。

除以√d_k,是为了在常见的方差假设下缓解维度增大导致点积尺度变大、归一化结果过于尖锐的问题。

然后沿键位置所在的最后一维进行归一化:

A = softmax(S + M)

最后输出:

O = A V_value

其中M是掩码。注意力权重A决定信息的混合比例,而不是直接给出下一个词元的概率。

七、步骤五:加入因果掩码,防止读取未来

1. 自回归生成为什么需要遮挡

文本生成任务需要根据已有内容预测后续词元。若训练时当前位置能够访问未来答案,就会产生信息泄漏,训练目标也就失去了应有意义。

因此,对位置i而言,只允许访问位置j≤i的内容。

因果掩码可表示为:

  1. 当 j <= i:M[i, j] = 0
  2. 当 j > i:M[i, j] = 负无穷

掩码要加在归一化之前,使未来位置的权重变为零。

2. 因果掩码与填充掩码不同

因果掩码负责禁止访问未来;填充掩码负责禁止把补齐长度的无效位置当成有效信息。

批量处理不同长度文本时,通常需要综合处理两者。还应在损失计算中忽略不参与训练的填充目标。

实现时要特别小心“整行全部被遮挡”的情况。若某行没有任何有效键位置,归一化可能产生无效数值,应通过合理的批处理和掩码逻辑避免。

八、步骤六:扩展为多头注意力

单个注意力头的表示能力有限。多头机制将投影结果拆分为多个子空间,让不同头学习不同的信息组合方式。

常见张量变换为:

  1. 输入: [B, T, d]
  2. 投影结果: [B, T, h × d_h]
  3. 拆分并调整轴: [B, h, T, d_h]
  4. 注意力分数: [B, h, T, T]
  5. 各头输出: [B, h, T, d_h]
  6. 拼接结果: [B, T, d]

各头结果拼接后,再通过输出投影进行融合。

这里最容易出错的不是公式,而是维度轴的顺序。实现时应在每次拆分、转置和拼接后记录形状,尤其要确认矩阵乘法作用于最后两个维度。

不同头可能学习到不同模式,但不能预先断言某一个头必然专门负责语法或指代;这需要通过分析验证。

九、步骤七:组装完整Transformer模块

仅有注意力还不足以构成常见的完整模块,还需要前馈网络、归一化和残差连接。

以一种常见的前置归一化结构为例:

  1. H = X + 多头注意力(归一化(X))
  2. Y = H + 前馈网络(归一化(H))

1. 残差连接

残差连接保留原有信息,并为深层网络提供更直接的梯度传播路径。

相加两侧必须形状一致,所以注意力输出和前馈网络输出通常都要回到[B, T, d]。

2. 归一化

常见层归一化对每个位置的隐藏特征进行处理,而不是把不同词元全部混为一组。它有助于改善数值尺度和训练稳定性。

不同架构的归一化位置与具体形式可能不同,阅读实现时应依据实际结构确认。

3. 前馈网络

常见基础形式为:

FFN(x) = φ(xW₁ + b₁)W₂ + b₂

维度通常经历:

d → d_ff → d

前馈网络对每个位置分别应用同一组参数,不直接混合不同位置的信息。跨位置的信息交互主要由注意力完成。

因此,可以把两者理解为:注意力负责“从其他位置获取信息”,前馈网络负责“对当前位置的特征进行非线性加工”。

十、步骤八:将隐藏状态转换为下一个词元概率

经过多层模块后,隐藏状态仍为:

[B, T, d]

通过输出投影映射到词表空间:

logits = H W_out

其中:

W_out ∈ R^(d×V)

于是得到:

[B, T, V]

沿词表维应用归一化,可以得到每个位置对下一词元的预测分布。有些模型会让输出投影与词元嵌入共享参数,但这不是必选条件。

训练时需要对齐输入与目标。例如:

  1. 原始序列:甲 乙 丙 丁
  2. 模型输入:甲 乙 丙
  3. 监督目标:乙 丙 丁

生成时,通常使用最后一个有效位置的输出分布选择下一个词元,将其追加到已有序列,再继续计算,直到满足结束条件。

十一、用通用伪代码串起前向过程

以下伪代码仅用于展示计算顺序:

  1. 函数 前向计算(词元编号, 位置编号, 掩码):
  2. 隐藏状态 = 查表(词元嵌入参数, 词元编号)
  3. 隐藏状态 = 加入位置信息(隐藏状态, 位置编号)
  4. 对每个模块:
  5. 临时状态 = 归一化一(隐藏状态)
  6. 查询, 键, 值 = 线性投影并拆分多头(临时状态)
  7. 分数 = 查询 × 转置末两维(键) / 平方根(每头维度)
  8. 权重 = 沿最后一维归一化(分数 + 掩码)
  9. 上下文 = 权重 × 值
  10. 注意力输出 = 合并多头并输出投影(上下文)
  11. 隐藏状态 = 隐藏状态 + 注意力输出
  12. 临时状态 = 归一化二(隐藏状态)
  13. 隐藏状态 = 隐藏状态 + 前馈网络(临时状态)
  14. 隐藏状态 = 最终归一化(隐藏状态)
  15. 返回 输出投影(隐藏状态)

实际计算应区分训练模式和推理模式。例如,若使用随机失活,验证确定性行为时需要关闭它。

十二、结果验证:怎样确认实现没有明显错误

1. 检查形状和数值

逐层确认:

  • 输入编号:[B, T]。
  • 输入嵌入:[B, T, d]。
  • 注意力权重:[B, h, T, T]。
  • 输出分数:[B, T, V]。
  • 中间张量不出现无效数值或无穷值。

注意力归一化后,在有效查询行且尚未应用随机失活时,各行权重之和应接近1。被遮挡位置应为零或数值上接近零。

2. 做未来信息泄漏测试

准备两条长度相同、前缀相同但后缀不同的输入。在确定性推理模式下比较相同前缀位置的输出。

若因果掩码和位置处理正确,这些位置的输出应在数值误差范围内保持一致,因为它们不应受到未来词元影响。

3. 做小样本拟合测试

使用很小的数据集进行短程训练,观察模型能否显著降低训练损失。

若不能,应优先检查目标错位、掩码、梯度更新和损失计算。小样本拟合成功只能说明基础训练链路可能正常,不代表泛化能力合格。

十三、常见问题与排查顺序

1. 损失下降,但生成效果异常

检查训练输入与监督目标是否错开一个位置,生成时是否取了最后一个有效位置,以及训练和推理是否使用同一套分词规则。

2. 注意力输出出现无效数值

优先检查是否存在全遮挡行、输入数值是否过大、掩码的数据类型是否兼容,以及归一化计算是否稳定。排查时可暂时采用更高数值精度缩小问题范围。

3. 增加注意力头后维度报错

检查隐藏维度能否按当前方案拆分,确认拆分与转置顺序正确,并验证合并后维度确实恢复为d。

4. 长文本计算明显变慢

标准密集自注意力的注意力矩阵规模随T的平方增长;其注意力核心计算量通常也包含关于T的二次项。与此同时,线性投影和前馈网络也会消耗大量算力,不能把全部计算成本都归因于注意力矩阵。

5. 输入过长后效果下降

检查位置处理、训练时使用的上下文长度,以及截断是否破坏关键信息。能够完成张量计算,并不意味着模型能可靠理解任意长度文本。

十四、优化建议与学习路线

先保证正确性,再考虑性能优化。

第一阶段,使用短序列、小隐藏维度和少量模块,完整记录张量形状,完成因果性测试与小样本拟合。

第二阶段,再评估批处理、数值精度和注意力计算方式,结合实际输入长度测量延迟、吞吐量和显存占用,不直接套用其他环境的性能结论。

第三阶段,在自回归推理中研究键和值缓存。缓存可以减少历史位置的重复计算,但会占用额外内存,还必须正确处理位置编号、有效长度和不同请求之间的隔离。

涉及真实业务文本时,应控制日志中的原始内容暴露,避免无必要地保存敏感输入,并明确数据访问权限。

总结

理解Transformer,最有效的方法是沿着数据和形状逐步推演:分词确定离散输入,嵌入建立连续表示,位置机制补充顺序,自注意力进行上下文聚合,前馈网络加工特征,多层结构进一步组合信息,最终输出词表上的预测分数。

当你能够独立写出每一步的输入输出形状,并通过未来信息泄漏测试、数值检查和小样本拟合验证实现时,就已经建立了从概念理解走向实际实现的基础。

发表评论

活动