详解Transformer输入编码:从分词到位置编码
作者:da吃一鲸8862026.11.18 11:19浏览量:0简介:本文以教程形式拆解Transformer输入端的完整处理链路,帮助你从原始文本出发,逐步理解分词、词向量查表与位置编码三大关键环节,弄清模型如何把一句话转化为可计算的向量表示,并给出验证、排查与优化思路,适合希望系统掌握注意力模型输入机制的开发者与算法学习者阅读。
教程目标
本教程的目标是帮助读者彻底理清一个 Transformer 模型在”读入”一段自然语言时,输入数据到底经历了哪些加工步骤。读完本文,你应当能够独立回答:一段文本是如何一步步被转换成一组带语义和位置信息的向量的,以及这些向量又是如何被送入注意力层的。这套流程是所有后续注意力计算的前提,理解了它,你就掌握了 Transformer 输入侧的”地基”。
适用读者与场景
本教程适合三类读者:一是刚开始接触注意力机制的初学者,想弄清楚词向量与位置编码到底在做什么;二是有一定深度学习基础、但对”位置信息为什么要单独注入”存在疑惑的开发者;三是准备在业务中落地文本类模型的工程人员。适用场景包括:阅读理解、文本分类、机器翻译以及各类生成式任务的前端数据处理。
前置准备
在开始之前,你需要具备以下基础认知:
- 了解向量、矩阵以及高维空间的基本概念;
- 知道神经网络是通过前向计算与反向传播来学习参数的一般原理;
- 能够读懂形如
x = E[t]这样的索引与赋值表达。
本教程不依赖任何特定框架或平台,示例均以伪代码和通用记号给出,方便你映射到任意主流的深度学习实现上。
实施步骤
步骤一:分词(Tokenization)
自然语言本质上是一串字符,模型无法直接处理,需要先切分成模型能识别的最小单元,这些单元称为 token。为什么要切分成”子词”而不是按整词或按单字处理?因为整词方式会遇到词表爆炸和未登录词问题,单字方式又会丢失语义整体性,子词切分是二者的折中。例如一个较长的派生词,可能被切分为词根与前缀、后缀的组合,如 “un”、”happy”、”ness”。不同模型的切分策略不同,有的是基于统计频率的子词算法,有的是基于字节对合并的方法,但它们的共同目标都是在词表大小与语义完整之间取得平衡。
步骤二:查表得到词向量(Embedding Lookup)
切分出 token 之后,每个 token 会被映射为一个整数索引,再通过一张可学习的嵌入矩阵查表得到一个 d 维向量。可以写成:对每个 token t,其向量为 x = E[t],其中 E 的形状是 V × d,V 是词表大小,d 是向量维度。这个向量承载了该 token 的静态语义,比如某种颜色、某种属性或某种类别倾向。需要强调的关键点是:嵌入矩阵 E 的参数不是人工设定的,而是在训练过程中由反向传播自动学习得到的。换句话说,”语义”是模型自己长出来的,而不是人告诉它的。
步骤三:理解词序带来的问题
到这一步为止,我们手里只有”词的含义”,但还没有”词的位置”。Transformer 的注意力机制是并行处理的,它同时看到句子中的所有 token,却没有天然的先后顺序概念。这会导致一个严重问题:两个词完全相同的句子,仅仅因为词序不同,含义就可能截然相反。比如”猫吃鱼”和”鱼吃猫”,如果只看词向量,两者的向量表示一模一样,模型根本无法区分谁是施动者、谁是受动者。因此,必须显式地把位置信息补进去。
步骤四:加入位置编码(Positional Encoding)
由于 Transformer 没有循环或卷积那种天然的顺序结构,我们需要显式注入位置信息。做法是为每个位置 pos 构造一个位置向量 P[pos],与词向量相加:
x' = x + P[pos]
其中位置编码矩阵 P 的形状通常为 T × d,T 是最大序列长度。位置编码的实现通常有两种常见思路:一种是用正弦、余弦这类固定函数按位置生成,无需训练即可区分不同位置;另一种是训练一个可学习的参数矩阵,让模型自己学出最合适的位置表示。两种方式各有取舍,前者外推性更好,后者在特定长度上更灵活。
关于”相加”而非”拼接”的疑问
很多读者会问:为什么是把位置编码”加”到词向量上,而不是”拼”在词向量后面?原因有两点。其一是维度效率,拼接会让向量维度翻倍,显存与计算量都随之上升,相加则保持维度不变。其二是数学上的可行性,在高维空间里,相加可以理解为把语义向量做一个位置相关的”平移”。只要模型容量足够、层数足够,它在后续的注意力与非线性变换中,完全有能力把语义信息与位置信息重新解耦出来。因此相加是一种既经济又实用的方案。
一个直观的类比
可以把整套输入加工想象成一场观影:词向量相当于每位观众的身份证,告诉你”我是谁”;位置编码相当于座位号,告诉你”我坐在第几排第几座”。最终送入注意力层的,就是”坐在 3 排 5 座的那位观众”这样的复合表示。模型既知道每个 token 的身份,也知道它在句子中的位置,才能进行准确的关系计算——判断谁和谁相关、谁修饰谁、谁依赖谁。
结果验证:如何确认你理解正确
要验证你是否真正掌握了这套流程,可以用三个自问来检验:
- 我能说清
x = E[t]中每一项的形状与含义吗? - 我能否解释去掉位置编码后,模型为什么会在语序问题上失效吗?
- 我能否说明”相加”相比”拼接”在维度与计算上的差别吗?
如果这三个问题都能流畅回答,说明你已经建立了正确的输入侧心智模型。在动手实践中,你还可以通过对比相邻位置输入向量的差异,间接验证位置信息是否确实被注入。
常见问题与排查
- 问题一:模型对语序不敏感,打乱词序后结果几乎不变。这通常意味着位置编码没有正确加进去,或者序列长度超出了位置编码覆盖范围。排查方向是检查位置索引是否与 token 一一对应。
- 问题二:训练早期损失下降缓慢。可能与嵌入维度
d设置过大导致参数冗余有关,可尝试在验证集上比较不同维度。 - 问题三:长句子效果明显变差。若是固定函数式位置编码,外推能力有限;可评估是否改用可学习位置编码或具备更好外推性的方案。
优化建议
从实践角度看,有几点通用建议值得关注。在分词层面,合理设置词表大小能显著影响未登录词比例与存储开销。在嵌入维度上,维度越高表达能力越强,但计算与显存成本也同步上升,应结合任务复杂度权衡。在位置编码选择上,若业务文本长度分布跨度较大,可优先考虑外推性更好的方案。此外,建议对输入侧流程做好单元测试,确保分词、查表、位置编码三步的索引对齐无误,这是避免”静默错误”的关键。
总结
本教程围绕 Transformer 输入端的加工链路展开,依次讲清了分词、词向量查表、词序问题以及位置编码四个环节,并澄清了”为什么用相加而非拼接”这一常见疑问。核心结论是:送入注意力层的输入向量同时编码了”我是什么”(语义)与”我在哪里”(位置)两类信息。掌握了这条输入主线,你就为后续理解注意力、多头机制与整体前向传播打下了坚实基础。接下来可以进一步关注注意力是如何利用这些向量计算 token 间关联的。

登录后可评论,请前往 登录 或 注册