从分词到自注意力:逐步拆解大语言模型架构
作者:很酷cat2026.11.18 11:23浏览量:0简介:本教程以文本生成模型为例,沿着分词、字节对编码、嵌入矩阵、位置表示、自注意力和前馈网络的计算链路,逐步讲清Transformer的内部结构。读者将学会追踪关键张量形状,理解因果掩码与多头注意力,并通过通用伪代码和检查方法验证计算过程,建立可用于学习、实现与排错的完整知识框架。
一、教程目标:沿着一段文本看清模型如何计算
学习Transformer时,常见困难不是记不住模块名称,而是不清楚模块之间如何衔接:文本怎样变成矩阵?注意力究竟计算了什么?模型为什么不能直接看到后面的答案?最后又如何得到下一个词元的概率?
本教程将围绕一条完整链路展开:
文本 → 分词 → 词元编号 → 输入嵌入 → 位置表示 → 多层Transformer模块 → 输出概率。
读完后,你应当能够完成三项任务:
- 根据输入长度和模型维度,写出主要中间张量的形状。
- 理解自注意力、因果掩码、多头机制、残差连接和前馈网络的作用。
- 按照通用伪代码组织一次前向计算,并用可重复的检查方法排查错误。
本文适合具备基础编程知识的开发者、希望理解模型推理过程的运维人员,以及需要评估模型结构和资源开销的技术负责人。讨论以仅解码器的自回归文本生成模型为主,不将所有Transformer都等同于这一种结构。
二、前置准备:先统一符号与基础知识
1. 需要掌握的知识
建议提前了解向量、矩阵乘法、概率分布和基本神经网络概念。若准备实际实现,还需要一个支持张量运算与自动求导的通用计算环境,但本教程不依赖具体工具。
先使用随机初始化参数检查计算链路,不需要训练数据集或预训练权重。不过,随机模型只能验证结构和数值计算,不能证明语言生成能力。
2. 本文使用的符号
| 符号 | 含义 |
|---|---|
| B | 批次大小 |
| T | 当前输入序列长度 |
| V | 词表大小 |
| d | 模型隐藏维度 |
| h | 注意力头数 |
| d_h | 每个注意力头的维度 |
| d_ff | 前馈网络中间层维度 |
常见等宽多头设计满足:
d_h = d / h
因此,选择这种设计时,d必须能被h整除。不同架构可能采用不同的投影布局,不能把这一实现约定理解为所有注意力机制的普遍限制。
三、步骤一:将文本转换为词元编号
1. 分词并不等于按汉字或空格切分
模型通常不能直接接收字符串,需要先用分词器将文本转换为词元序列,再通过词表映射成整数编号。
例如,输入:
“今天学习注意力机制”
可能被拆成:
“今天”“学习”“注意”“力”“机制”
也可能形成其他切分结果。实际边界由分词器的词表、预处理方式和编码规则决定,不应凭直觉推断。
概念流程为:
文本 = "今天学习注意力机制"词元序列 = 分词器编码文本(文本)编号序列 = 将词元映射为编号(词元序列)
这里的函数名只是教学伪代码,不代表某个工具的真实接口。
关键注意事项:训练和推理必须使用匹配的分词器与词表。同一个编号在不同词表中可能对应完全不同的内容,替换分词器通常不能直接沿用原模型参数。
2. 理解字节对编码的基本过程
字节对编码,简称BPE,其核心思想是反复合并高频相邻符号对。
可以用以下简化过程理解:
- 把训练文本表示为初始符号序列。
- 统计所有相邻符号对出现的频次。
- 将最高频的一对合并成新符号。
- 更新统计并继续合并,直到满足词表规模等停止条件。
- 保存词表和合并规则,用于后续编码。
需要区分:分词器训练阶段需要统计语料;使用已经训练好的分词器编码新文本时,通常依据已有规则处理,不会重新训练词表。
初始符号可以采用字符、字节或经过预处理的单元。字节级方案与字符级方案的覆盖范围、编码长度和可读性有所不同,不能简单认为所有BPE实现都从同一种基础单位开始。
3. 验证分词结果
先检查三件事:
- 每个编号都处于合法词表范围内。
- 特殊词元的插入规则符合设计。
- 编码后再解码,结果符合分词器约定。
若分词器包含文本规范化处理,往返转换不一定保留原始文本的全部形式细节。排查时应先确认规范化规则,而不是立即判断模型出错。
四、步骤二:理解输入嵌入矩阵
1. 从整数编号变成连续向量
定义可训练的词元嵌入矩阵:
E ∈ R^(V×d)
其中每一行对应一个词元的向量。
若输入编号张量的形状为:
[B, T]
通过查表取得对应行后,得到:
X_token ∈ R^(B×T×d)
这一操作本质上是查表,不是把编号大小当作语义强弱。例如,编号100并不天然比编号10“含义更多”。
2. 区分两种容易混淆的矩阵
“嵌入矩阵”有时被用于指代不同对象,实际阅读代码和公式时应明确:
- 词表嵌入参数E:形状为[V, d],保存整个词表的向量。
- 当前输入的嵌入结果X_token:形状为[B, T, d],只包含当前批次的词元向量。
这一区分对排查维度错误非常重要。词表大小V与输入长度T是两个不同概念,不能互换。
3. 为什么同一个词元还能有不同含义
在嵌入查表阶段,同一个词元编号通常得到相同向量。但经过注意力层后,它会融合不同上下文的信息,从而形成与上下文有关的表示。
因此,静态词元嵌入只是起点,不能用它直接代表模型最终理解的语义。
五、步骤三:让模型知道词元顺序
标准自注意力计算本身不直接编码词元的先后位置,因此需要引入位置信息。
一种容易理解的方式是将位置向量与词元向量相加:
X = X_token + P
其中P可以具有[T, d]的形状,并沿批次维广播。
位置表示可以采用固定函数生成,也可以通过训练学习。另一些方案会在注意力计算中引入相对位置,或对查询、键向量施加与位置有关的变换,不一定直接与输入嵌入相加。
为了先验证主链路,建议采用一种明确的位置方案完成实现,避免同时混用多套不兼容的位置处理方式。
检查时重点关注:
- 位置编号是否从预期起点开始。
- 填充位置是否得到一致处理。
- 增量生成时,新词元是否使用正确的后续位置。
- 输入长度是否超出所选位置方案的设计或有效使用范围。
六、步骤四:计算单头自注意力
1. 为什么需要注意力
句子中一个词元的含义往往依赖远处内容。例如,指代关系和长距离修饰关系可能跨越多个词元。
自注意力允许每个位置根据当前表示,对其他允许访问的位置进行加权汇总,从而建立上下文联系。
它不是对文本做简单关键词匹配,而是在可训练的向量空间中计算关联程度。
2. 从输入产生查询、键和值
对于单个序列,暂时省略批次维,设:
X ∈ R^(T×d)
计算:
Q = XW_Q
K = XW_K
V_value = XW_V
其中,Q是查询,K是键,V_value是值。这里使用V_value,是为了避免与词表大小V混淆。
一种直观理解是:
- 查询表达当前位置希望检索什么信息。
- 键表达每个位置可用于匹配的特征。
- 值承载最终被汇总的信息。
三者都由输入经过可训练投影得到,并不是人工指定的标签。
3. 计算注意力分数
若查询和键的最后一维为d_k,则:
S = QKᵀ / √d_k
S的形状为[T, T]。第i行、第j列表示位置i对位置j的匹配分数。
除以√d_k,是为了在常见的方差假设下缓解维度增大导致点积尺度变大、归一化结果过于尖锐的问题。
然后沿键位置所在的最后一维进行归一化:
A = softmax(S + M)
最后输出:
O = A V_value
其中M是掩码。注意力权重A决定信息的混合比例,而不是直接给出下一个词元的概率。
七、步骤五:加入因果掩码,防止读取未来
1. 自回归生成为什么需要遮挡
文本生成任务需要根据已有内容预测后续词元。若训练时当前位置能够访问未来答案,就会产生信息泄漏,训练目标也就失去了应有意义。
因此,对位置i而言,只允许访问位置j≤i的内容。
因果掩码可表示为:
当 j <= i:M[i, j] = 0当 j > i:M[i, j] = 负无穷
掩码要加在归一化之前,使未来位置的权重变为零。
2. 因果掩码与填充掩码不同
因果掩码负责禁止访问未来;填充掩码负责禁止把补齐长度的无效位置当成有效信息。
批量处理不同长度文本时,通常需要综合处理两者。还应在损失计算中忽略不参与训练的填充目标。
实现时要特别小心“整行全部被遮挡”的情况。若某行没有任何有效键位置,归一化可能产生无效数值,应通过合理的批处理和掩码逻辑避免。
八、步骤六:扩展为多头注意力
单个注意力头的表示能力有限。多头机制将投影结果拆分为多个子空间,让不同头学习不同的信息组合方式。
常见张量变换为:
输入: [B, T, d]投影结果: [B, T, h × d_h]拆分并调整轴: [B, h, T, d_h]注意力分数: [B, h, T, T]各头输出: [B, h, T, d_h]拼接结果: [B, T, d]
各头结果拼接后,再通过输出投影进行融合。
这里最容易出错的不是公式,而是维度轴的顺序。实现时应在每次拆分、转置和拼接后记录形状,尤其要确认矩阵乘法作用于最后两个维度。
不同头可能学习到不同模式,但不能预先断言某一个头必然专门负责语法或指代;这需要通过分析验证。
九、步骤七:组装完整Transformer模块
仅有注意力还不足以构成常见的完整模块,还需要前馈网络、归一化和残差连接。
以一种常见的前置归一化结构为例:
H = X + 多头注意力(归一化(X))Y = H + 前馈网络(归一化(H))
1. 残差连接
残差连接保留原有信息,并为深层网络提供更直接的梯度传播路径。
相加两侧必须形状一致,所以注意力输出和前馈网络输出通常都要回到[B, T, d]。
2. 归一化
常见层归一化对每个位置的隐藏特征进行处理,而不是把不同词元全部混为一组。它有助于改善数值尺度和训练稳定性。
不同架构的归一化位置与具体形式可能不同,阅读实现时应依据实际结构确认。
3. 前馈网络
常见基础形式为:
FFN(x) = φ(xW₁ + b₁)W₂ + b₂
维度通常经历:
d → d_ff → d
前馈网络对每个位置分别应用同一组参数,不直接混合不同位置的信息。跨位置的信息交互主要由注意力完成。
因此,可以把两者理解为:注意力负责“从其他位置获取信息”,前馈网络负责“对当前位置的特征进行非线性加工”。
十、步骤八:将隐藏状态转换为下一个词元概率
经过多层模块后,隐藏状态仍为:
[B, T, d]
通过输出投影映射到词表空间:
logits = H W_out
其中:
W_out ∈ R^(d×V)
于是得到:
[B, T, V]
沿词表维应用归一化,可以得到每个位置对下一词元的预测分布。有些模型会让输出投影与词元嵌入共享参数,但这不是必选条件。
训练时需要对齐输入与目标。例如:
原始序列:甲 乙 丙 丁模型输入:甲 乙 丙监督目标:乙 丙 丁
生成时,通常使用最后一个有效位置的输出分布选择下一个词元,将其追加到已有序列,再继续计算,直到满足结束条件。
十一、用通用伪代码串起前向过程
以下伪代码仅用于展示计算顺序:
函数 前向计算(词元编号, 位置编号, 掩码):隐藏状态 = 查表(词元嵌入参数, 词元编号)隐藏状态 = 加入位置信息(隐藏状态, 位置编号)对每个模块:临时状态 = 归一化一(隐藏状态)查询, 键, 值 = 线性投影并拆分多头(临时状态)分数 = 查询 × 转置末两维(键) / 平方根(每头维度)权重 = 沿最后一维归一化(分数 + 掩码)上下文 = 权重 × 值注意力输出 = 合并多头并输出投影(上下文)隐藏状态 = 隐藏状态 + 注意力输出临时状态 = 归一化二(隐藏状态)隐藏状态 = 隐藏状态 + 前馈网络(临时状态)隐藏状态 = 最终归一化(隐藏状态)返回 输出投影(隐藏状态)
实际计算应区分训练模式和推理模式。例如,若使用随机失活,验证确定性行为时需要关闭它。
十二、结果验证:怎样确认实现没有明显错误
1. 检查形状和数值
逐层确认:
- 输入编号:[B, T]。
- 输入嵌入:[B, T, d]。
- 注意力权重:[B, h, T, T]。
- 输出分数:[B, T, V]。
- 中间张量不出现无效数值或无穷值。
注意力归一化后,在有效查询行且尚未应用随机失活时,各行权重之和应接近1。被遮挡位置应为零或数值上接近零。
2. 做未来信息泄漏测试
准备两条长度相同、前缀相同但后缀不同的输入。在确定性推理模式下比较相同前缀位置的输出。
若因果掩码和位置处理正确,这些位置的输出应在数值误差范围内保持一致,因为它们不应受到未来词元影响。
3. 做小样本拟合测试
使用很小的数据集进行短程训练,观察模型能否显著降低训练损失。
若不能,应优先检查目标错位、掩码、梯度更新和损失计算。小样本拟合成功只能说明基础训练链路可能正常,不代表泛化能力合格。
十三、常见问题与排查顺序
1. 损失下降,但生成效果异常
检查训练输入与监督目标是否错开一个位置,生成时是否取了最后一个有效位置,以及训练和推理是否使用同一套分词规则。
2. 注意力输出出现无效数值
优先检查是否存在全遮挡行、输入数值是否过大、掩码的数据类型是否兼容,以及归一化计算是否稳定。排查时可暂时采用更高数值精度缩小问题范围。
3. 增加注意力头后维度报错
检查隐藏维度能否按当前方案拆分,确认拆分与转置顺序正确,并验证合并后维度确实恢复为d。
4. 长文本计算明显变慢
标准密集自注意力的注意力矩阵规模随T的平方增长;其注意力核心计算量通常也包含关于T的二次项。与此同时,线性投影和前馈网络也会消耗大量算力,不能把全部计算成本都归因于注意力矩阵。
5. 输入过长后效果下降
检查位置处理、训练时使用的上下文长度,以及截断是否破坏关键信息。能够完成张量计算,并不意味着模型能可靠理解任意长度文本。
十四、优化建议与学习路线
先保证正确性,再考虑性能优化。
第一阶段,使用短序列、小隐藏维度和少量模块,完整记录张量形状,完成因果性测试与小样本拟合。
第二阶段,再评估批处理、数值精度和注意力计算方式,结合实际输入长度测量延迟、吞吐量和显存占用,不直接套用其他环境的性能结论。
第三阶段,在自回归推理中研究键和值缓存。缓存可以减少历史位置的重复计算,但会占用额外内存,还必须正确处理位置编号、有效长度和不同请求之间的隔离。
涉及真实业务文本时,应控制日志中的原始内容暴露,避免无必要地保存敏感输入,并明确数据访问权限。
总结
理解Transformer,最有效的方法是沿着数据和形状逐步推演:分词确定离散输入,嵌入建立连续表示,位置机制补充顺序,自注意力进行上下文聚合,前馈网络加工特征,多层结构进一步组合信息,最终输出词表上的预测分数。
当你能够独立写出每一步的输入输出形状,并通过未来信息泄漏测试、数值检查和小样本拟合验证实现时,就已经建立了从概念理解走向实际实现的基础。

登录后可评论,请前往 登录 或 注册