logo

Transformer位置编码教程:从原理到注入与验证

作者:rousong2026.11.18 11:22浏览量:0

简介:本教程讲解自注意力为何需要位置信息,推导其置换等变性,说明正弦余弦位置编码的构造与边界,并比较绝对位置与相对位置两种注入方式。读者可按步骤实现位置编码、完成验证,并掌握选型与排查思路。

教程目标

完成本教程后,读者应能做到三件事。第一,能解释为什么没有位置信息的自注意力对输入顺序不敏感。第二,能实现正弦余弦位置编码,并将其正确注入模型输入。第三,能根据任务需求在绝对位置方案与相对位置方案之间做出选择,并通过实验验证实现是否正确。

适用读者

本文面向以下读者。

  • 开发者:正在实现或改造基于Transformer的模型,需要处理位置信息。
  • 算法工程师与研究人员:希望理解位置编码的数学性质,便于对比不同方案。
  • 技术负责人:需要判断长文本或变长输入场景下应采用哪种位置方案。

阅读前应掌握矩阵乘法、softmax和缩放点积注意力的基本概念。

适用场景

位置编码几乎出现在所有基于自注意力的序列模型中,包括文本、语音、时间序列和部分视觉任务。下列情况需要特别关注位置信息的设计。

  • 任务依赖顺序,例如句法分析、序列反转、计数类任务。
  • 输入长度可变,推理时长度可能超过训练时的最大长度。
  • 使用增量解码,需要在缓存机制下保持位置索引正确。

前置准备

  1. 运行环境:具备常见深度学习框架或数值计算库的Python环境,可以执行矩阵运算。
  2. 基础知识:理解查询(Query)、键(Key)、值(Value)的含义,知道注意力分数由Q与K的点积经缩放得到。
  3. 数据与测试样例:准备一组短序列,用于验证模型对顺序的敏感性。
  4. 代码组织:将位置编码模块、注意力模块和测试代码分开,便于单独检查。

原理回顾:自注意力为何不知道顺序

设输入矩阵X的每一行对应一个token的表示。自注意力先用三组线性变换得到Q、K、V,再计算打分矩阵S,经softmax得到注意力权重A,最后用A对V加权求和。

如果把输入的行按某个排列重新摆放,Q、K、V会随之重排。打分矩阵S的行和列会以同样的方式重排,softmax按行独立计算,因此注意力权重也随之重排,最终输出同样只是行的重排。用数学语言描述,若P为置换矩阵,则注意力满足:输入经置换后,输出等于原输出经同一置换。这一性质称为置换等变性(permutation equivariance)。

这说明自注意力本身只依据内容计算相关性,不包含位置结构。RNN通过时间步的递归顺序携带位置信息,卷积通过卷积核的滑动范围携带局部顺序。自注意力把所有位置两两直接相连,顺序信息必须由模型额外注入。

需要注意的是,因果掩码(causal mask)只限制每个位置能够看到哪些位置,它不提供任何“第几个位置”的信息。因此,即使加上掩码,缺少位置编码的模型仍无法区分顺序不同但内容相同的输入。

步骤一:确定序列长度与位置方案

做什么

在实现之前,先确定最大序列长度max_len、模型维度d_model,以及位置方案是固定函数还是可学习向量。

为什么这么做

位置编码的计算量和存储量都与max_len成正比。若预先规划好最大长度,可以避免运行时索引越界。模型维度决定位置向量的通道数,二者必须与嵌入层的维度一致。

注意什么

  • d_model通常取偶数,便于正弦与余弦成对配置。若必须使用奇数维度,需要单独处理最后一个通道。
  • max_len应覆盖训练与推理中可能出现的最长输入。若推理长度超过max_len,需要改用支持外推的方案,或者重新生成位置表。

步骤二:实现正弦余弦位置编码

做什么

按照原始Transformer的构造,为每个位置pos和每个维度i计算位置向量。偶数维使用正弦,奇数维使用余弦,频率随维度递减。公式如下。

  • PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
  • PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

为什么这么做

不同维度的频率从高到低排列,波长从2π逐步增长到约20000π。高频维度能区分相邻位置,低频维度能区分相距较远的位置。这种多尺度结构让模型可以同时利用局部与全局的位置信息,而无需学习额外参数。

伪代码

  1. function sinusoidal_pe(max_len, d_model):
  2. pe = zeros(max_len, d_model)
  3. for pos in range(max_len):
  4. for i in range(0, d_model, 2):
  5. angle = pos / (10000 ** (i / d_model))
  6. pe[pos][i] = sin(angle)
  7. if i + 1 < d_model:
  8. pe[pos][i + 1] = cos(angle)
  9. return pe

实际实现中应使用向量化计算,避免双重循环。计算结果可以缓存,训练时直接索引取值。

步骤三:将位置信息注入输入表示

做什么

将词嵌入与位置向量相加,作为第一层注意力的输入。常见写法如下。

  1. x = token_embedding(ids) * sqrt(d_model)
  2. x = x + pe[0:L]
  3. x = dropout(x)

为什么这么做

相加的方式让位置信息与内容信息处于同一向量空间,后续线性变换可以同时使用二者。乘以sqrt(d_model)是为了平衡嵌入向量与位置向量的数值尺度。位置向量每个元素的取值在-1到1之间,每对正弦与余弦的平方和恒为1,因此整个位置向量的范数约为sqrt(d_model/2)。若嵌入向量过小,位置信息会淹没内容信息。

注意什么

  • 切片范围必须与当前输入长度L一致,使用pe[0:L],不要直接传入整张表。
  • 填充(padding)位置的编码通常保留,但注意掩码的处理,避免填充位置参与有效注意力计算。
  • 位置编码是否在每一层重复注入,取决于具体架构。原始方案只在输入处注入一次。

步骤四:验证置换等变性

做什么

在不使用因果掩码、且不加入位置编码的前提下,对同一个注意力模块做以下测试。

  1. X = random_matrix(L, d_model)
  2. perm = random_permutation(L)
  3. out_a = attention_without_pos(X)[perm]
  4. out_b = attention_without_pos(X[perm])
  5. assert allclose(out_a, out_b)

若断言通过,说明注意力模块确实对排列是等变的。随后再加入位置编码,检查输出是否不再满足等变关系。

为什么这么做

这个实验把推导转化为可以复现的测试。它能帮助开发者确认:位置信息的缺失来自结构本身,而不是实现错误。同时,它也能确认位置编码确实改变了模型对排列的响应。

注意什么

测试时必须关闭因果掩码。掩码按位置的先后关系限制可见范围,会破坏纯粹的置换对称性,测试结果将不再具有对应关系。

步骤五:选择绝对位置或相对位置方案

绝对位置的注入方式

绝对位置方案把每个位置的编号直接转换为向量,并在输入处与嵌入相加。原始Transformer采用的正弦编码属于此类,可学习的位置嵌入也属于此类。它实现简单,适合输入长度固定、训练与推理长度一致的任务。

相对位置的注入方式

相对位置方案关注两个token之间的距离,而非各自的绝对编号。常见做法有两种。

第一种是在注意力分数中加入与相对距离相关的偏置项。对于第i个查询与第j个键,分数修改为:

  1. scores[i][j] = dot(Q[i], K[j]) / sqrt(d_k) + bias[clip(i - j, -max_dist, max_dist)]

clip函数将距离限制在一定范围内,使偏置表大小有限,也便于模型在更长序列上外推。

第二种是旋转位置编码(Rotary Position Embedding,常简称RoPE)。它按位置对Q与K的各通道对进行旋转,使得两个位置的点积只依赖于它们的相对偏移。

  1. for each channel pair (2k, 2k+1):
  2. angle = pos * theta_k
  3. q_rot = rotate(q, angle)
  4. k_rot = rotate(k, angle)

如何选择

需求 建议方案
输入长度固定,实现优先 绝对位置(正弦或可学习)
长文本,需要一定外推能力 相对位置偏置或旋转编码
使用增量解码与缓存 旋转编码需确保位置索引连续

选择时还应考虑内存与计算开销。相对偏置需要存储额外的偏置表,并在每层注意力中参与计算。旋转编码不增加参数,但要求每一步都正确传入位置索引。

配置说明

  • max_len:位置表的上限。取值过小会导致推理越界,取值过大会浪费内存。应依据数据分布的长度分位数确定。
  • d_model:需与嵌入维度一致。改变该值会改变所有频率,已训练的模型不能直接复用。
  • 基数10000:原始构造中的常数,控制最低频率。它是经验设定,可以调整,但需要重新训练或重新评估效果。
  • 相对距离截断值max_dist:控制偏置表大小。截断过小会使远距离信息失去区分度。
  • 缩放系数:嵌入乘以sqrt(d_model)的写法在多数实现中采用,应与模型初始化方式保持一致。

结果验证

可以从以下几方面检查实现是否正确。

  1. 形状检查:位置表的形状应为(max_len, d_model),输入加入位置编码后形状保持不变。
  2. 数值检查:第0个位置的正弦通道应全为0,余弦通道应全为1。所有取值应落在-1到1之间。
  3. 相似度检查:计算不同位置编码向量之间的点积,随着距离增加,相似度整体应呈下降趋势。
  4. 等变性检查:参照步骤四,确认无位置编码时等变成立,有位置编码时不再成立。
  5. 任务检查:在依赖顺序的任务上,比较有无位置编码的训练效果。若无位置编码时准确率接近随机水平,说明位置信息已经生效。
  6. 外推检查:用训练长度之外的序列测试模型,观察性能下降是否在可接受范围内。

常见问题与排查

问题一:推理时报索引越界

原因通常是输入长度超过max_len。解决思路是增大max_len,或在数据预处理阶段截断过长的输入。

问题二:增量解码时输出异常

使用缓存进行逐token生成时,若每一步都将位置索引重置为0,模型会把新token当作序列开头处理。应确保当前步的位置索引等于已生成长度。

问题三:位置信息对模型几乎没有影响

可能是嵌入尺度过大,位置向量被淹没。可检查嵌入的数值范围,并确认是否进行了尺度调整。

问题四:相对偏置在长序列上失效

可能是截断值过小,导致远距离位置被合并为同一个偏置。应根据任务的依赖范围调整max_dist,并观察不同距离区间的注意力分布。

问题五:填充位置干扰结果

若填充位置参与了注意力计算,模型会学习到无关的位置模式。应使用键填充掩码,屏蔽填充位置的注意力权重。

优化建议

  • 性能:缓存正弦位置表,避免每次前向计算时重新生成。对于超长序列,可以只计算需要的切片。
  • 稳定性:固定随机种子进行测试,确保位置编码的数值在不同硬件上一致。
  • 可维护性:在代码中明确位置索引从0开始还是从1开始,并在接口文档中注明,避免不同模块之间出现偏移。
  • 内存:可学习的位置嵌入随max_len线性增长,长文本场景下应评估相对方案的内存收益。
  • 测试:将等变性测试与任务指标测试纳入持续集成流程,防止后续修改破坏位置信息的注入逻辑。

总结

本教程从自注意力的置换等变性出发,说明位置信息必须显式注入。正弦余弦编码通过多尺度频率表示位置,并在相对偏移上具有线性变换的性质,但这一性质在加入内容向量后并不严格成立。实践中,应按照步骤确定长度上限、实现编码、注入输入、完成等变性与任务验证。选型时,固定长度任务可采用绝对位置,长文本与外推需求可考虑相对位置或旋转编码。后续可继续关注位置方案在长上下文场景下的外推表现与推理效率。

发表评论

活动