语言模型输入层:可训练嵌入与固定编码选型
作者:rousong2026.11.16 10:52浏览量:0简介:本文给出语言模型输入层选型方法:先算清可训练嵌入与固定编码的参数、梯度、优化器及编码表开销,再用字符串哈希映射、碰撞检测和离线脚本验证可行性,最后通过同数据对照训练验收。适合词表大、显存紧、长尾词多或需做消融实验的场景。
结论先行
语言模型输入层怎么选?可训练词嵌入与哈希固定编码并不是简单的“哪个更好”,而是取决于词表规模、显存预算、未登录词比例、工程复杂度和验收目标。主流通用大模型、资源充足、追求生态成熟与可调试性时,优先选可训练词嵌入表;当词表规模很大、显存或内存紧张、长尾词与未登录词比例高,或者需要通过对照实验回答“可训练输入层到底值多少收益”时,再评估固定编码方案。
建议按三步走:第一,用参数、梯度、优化器状态、编码表存储和投影层开销算清资源账;第二,用字符串哈希映射、生日问题公式和离线脚本检测覆盖率与碰撞率;第三,在相同数据、相同超参、相同训练轮数下做小规模对照训练,并提前约定显存节省、指标降幅、碰撞率上限和推理吞吐等验收阈值。
可训练词嵌入与固定编码分别是什么
语言模型输入层的核心任务,是把离散词元映射为连续向量,这一步通常称为词元嵌入或向量查找。
可训练词嵌入维护一张“词表大小 × 维度”的参数矩阵,每个词元对应一行向量。向量会在反向传播中持续更新,训练中语义相近的词往往会逐渐靠近。它的优点是语义表示可以直接学习,工程成熟度高;代价是词表越大,参数、梯度、优化器状态和显存压力越大。
固定编码中的哈希编码,则不在输入层引入可训练参数。系统用确定性函数,例如 SHA-256,将词元映射为固定向量或固定编码键。向量本身不随训练改变,模型只能在这些“固定身份证号”之上学习语言规律。它的优势是输入层可训练参数少,并且理论上可以覆盖未登录词;但语义表示更多依赖上层网络、线性投影、模型容量和数据量来补偿。
可以把选型拆成三个问题:识别、可学习性、实用性。识别是指每个词元是否有稳定且唯一的输入表示;可学习性是指上层网络能否从这些表示中学到足够有用的语言规律;实用性是指节省下来的资源是否能转化为任务收益。这个划分是为了讨论方便,并非业界统一术语。
最小实现:字符串到编码键,再到线性投影
固定编码方案最容易犯的错误,是直接对分词器输出的整数 id 做哈希。这样无法覆盖词表中没有的新词元,因为新词根本没有 id 可用。更可行的做法是:对词元字符串做哈希,得到稳定的编码键或 code_id,再查表得到向量,最后通过一个可训练线性投影接入 Transformer 隐藏层。
import hashlibimport torchimport torch.nn as nnDIM = 512NUM_CODE = 1024def token_to_code_id(token: str, num_code: int = NUM_CODE) -> int:"""按词元字符串生成稳定的编码键,不直接使用分词器整数 id。"""digest = hashlib.sha256(token.encode("utf-8")).digest()return int.from_bytes(digest[:8], "big") % num_codedef code_id_to_vector(code_id: int, dim: int = DIM):"""为编码键生成确定性向量,并逐元素映射到 [-1, 1]。"""digest = hashlib.sha256(f"code-{code_id}".encode("utf-8")).digest()repeats = (dim + len(digest) - 1) // len(digest)return [(v / 127.5 - 1.0) for v in (digest * repeats)[:dim]]# 离线预计算一次;生产环境可按实际 code_id 数量扩大表规模。_FIXED_TABLE = torch.tensor([code_id_to_vector(i) for i in range(NUM_CODE)],dtype=torch.float32,)class FixedEncodingWithProjection(nn.Module):def __init__(self, dim: int = DIM):super().__init__()# buffer 不是参数,但会随 model.to(device) 一起搬移。self.register_buffer("table", _FIXED_TABLE)# 512 -> 512 的可训练投影层,接入隐藏维 512 的 Transformer。self.proj = nn.Linear(dim, dim)def forward(self, tokens):# tokens: list[str],例如分词器切出的 token 字符串。ids = torch.tensor([token_to_code_id(t, self.table.shape[0]) for t in tokens],dtype=torch.long,device=self.table.device,)x = self.table[ids] # 查表:token string -> code_id -> vectorreturn self.proj(x)
这里有三个关键点。
第一,哈希必须作用于词元字符串,而不是分词器整数 id。只有对字符串做哈希,未登录词在分词后仍可能获得稳定编码键。
第二,编码表只是存储结构,不是可训练参数。示例使用 register_buffer,因此调用 model.to("cuda") 时,编码表会随模型迁移。若改用外部字典缓存,则需要手动放到 GPU,并常驻显存。
第三,Linear(512, 512) 是可训练适配层。它的参数量约为 512 × 512 + 512 = 262656,和大型嵌入表相比可以忽略,但它确实参与梯度更新和优化器状态计算,不能误认为固定编码方案完全没有任何可训练参数。
两种方案有哪些共同点
尽管输入层实现不同,两类方案在目标上完全一致:都要把离散词元映射为连续向量。
共同点包括:
- 上层网络大多可沿用:注意力层、前馈层、归一化层通常可以保持原结构,主要改动集中在输入接口。
- 训练目标一致:都需要通过语言模型损失、验证集指标和下游任务效果来评估。
- 不能只靠设计直觉判断优劣:固定编码是否能补上语义差距,必须靠同条件对照训练验证。
- 推理一致性都很重要:可训练嵌入依赖参数版本一致;固定编码依赖哈希函数、编码规则、分词器版本和词表版本一致。
主要差异在于:可训练嵌入让输入层直接学习语义;固定编码把语义表示更多交给上层网络和投影层。若原模型使用 weight tying,即输入嵌入与输出投影共享同一个矩阵,可训练方案可以省掉输出侧的一份参数;而固定编码没有可共享的可训练嵌入表,输出投影通常需要单独训练,其参数量和显存必须重新计入。
固定编码会省多少显存、代价是什么
显存公式要按精度和对象拆开
原来看起来简单的“参数量 × 4 字节”并不足够。更稳妥的做法是把参数权重、梯度、优化器状态、只读编码表、投影层和激活开销分开统计。
记 n 为可训练参数量,b_w、b_g、b_m、b_v 分别为权重、梯度、AdamW 一阶矩、二阶矩的字节数,若训练框架额外维护 fp32 主权重,还要加 b_master。静态显存可近似写为:
显存 ≈ n × (b_w + b_g + b_m + b_v + b_master)+ 固定编码表存储+ 投影层和输出层参数开销+ 激活值与临时缓存
常见 AdamW 混合精度训练下:
- 如果使用 bf16 或 fp16 计算,梯度同样用 bf16 或 fp16,AdamW 一阶和二阶矩用 fp32:
b_w = 2,b_g = 2,b_m = 4,b_v = 4。 - 若不维护 fp32 主权重,每个可训练参数约 12 字节。
- 若额外维护 fp32 主权重,每个可训练参数约 16 字节。
- 如果使用纯 fp32 训练,通常也接近每个可训练参数 16 字节,具体取决于框架实现。
因此,不能把优化器状态简单看成“参数量的一小半”,也不能只算权重而漏掉梯度和优化器状态。
可训练嵌入表的算例
假设词表大小为 50 万,维度为 1024,那么嵌入表参数量为:
500000 × 1024 ≈ 512000000,即约 5.12 亿参数
若按每个可训练参数 12 字节计算,静态开销约为:
5.12 亿 × 12 字节 ≈ 6.1 GB
若框架额外维护 fp32 主权重,按 16 字节计算,则约为:
5.12 亿 × 16 字节 ≈ 8.2 GB
这还不包括激活值、CUDA 上下文、临时缓冲区、分词器缓存和框架碎片。如果原模型使用 weight tying,输出投影可以共享这份嵌入参数;如果没有 weight tying,输出投影还会再增加一份类似规模的可训练参数。因此,512M 级别的嵌入表只估算为约 2GB 到 3GB 会明显偏低,容易低估显存需求。
固定编码省下的是什么
固定编码方案下,输入层没有嵌入表对应的可训练参数,也就没有这部分梯度、优化器状态和 weight tying 前的嵌入表开销。线性投影层仍然可训练,例如 Linear(512, 512) 的静态开销约为:
262656 × 12 字节 ≈ 3.1 MB
如果还需要单独训练输出投影,例如输出层维度为 vocab_size × hidden_size,则要按实际参数量重新计算。
但固定编码并非“零显存”。只读编码表仍然占存储:
- 如果编码表只为有限 code_id 分配向量,例如 1024 个 code_id × 512 维 × float32,约 2 MB。
- 如果为完整词表每个 token 预计算一个向量,例如 50 万 token × 512 维 × float32,约 1 GB。
- 如果使用 fp16 或 int8 压缩,存储可下降,但可能引入精度和工程复杂度的变化。
所以,固定编码的主要收益是减少可训练参数和相应梯度、优化器状态,而不是完全没有存储成本。
语义表示从哪里来
可训练嵌入在训练中自动优化每个词的表示,模型可以把语义关系、词频信息和上下文适配直接写进嵌入矩阵。固定编码的向量预先确定,语义关系主要由上层网络学习。因此通常需要加一个线性投影层,把固定向量调整到更适合当前模型的表示空间。
在小模型、短训练、复杂语义任务下,固定编码较难追上可训练嵌入。模型容量更大、数据更充足、训练更充分时,上层网络有可能补回一部分差距。但这属于条件性判断,不是普遍定论。最可靠的方式仍然是同数据、同超参、同轮数的小规模对照训练。
罕见词和未登录词怎么处理
可训练嵌入中,罕见词样本少,向量可能学不充分。分词器切出的新词元如果没有对应行,只能回退到 UNK 或其他占位符。
固定编码对未登录词更友好的前提是:编码必须基于词元字符串,而不是分词器整数 id。对整数 id 哈希无法覆盖词表里没有的新词元,因为新词没有可用 id。
此外还有两个条件:
- 分词器要能切出可哈希字符串。byte-level BPE 这类词元形式可以,纯 id 映射不行。
- 完整词表和编码规则要离线冻结。编码函数、哈希种子、分词器版本、词表版本必须一致,否则训练、评测和推理会不一致。
工程上还建议增加回退策略。例如分词失败、空 token、非法 UTF-8、超长 token 或哈希异常时,统一回退到 <unk>,并记录日志字段,包括原始 token、回退原因、分词器版本、编码版本和请求标识。这样便于排查线上问题与版本漂移。
因此,固定编码对长尾词和未登录词只是“较友好”,具体效果仍要靠任务指标验证。
词表扩展成本谁更低
可训练嵌入扩词表时,通常需要扩大参数矩阵。新增词向量要么重新训练,要么做增量训练,还要处理新旧参数的兼容和版本迁移。
固定编码的编码规则与词表规模解耦。新增词元时,只要分词器能切出字符串,就可以通过哈希得到稳定编码键,不必必然增加输入层参数。对于频繁更新词表、动态加入新领域词的场景,固定编码在工程上更灵活。
但这也意味着编码冲突和覆盖率控制更重要。词表扩展越频繁,越需要建立离线碰撞检测、版本冻结和回归评测流程。
编码冲突风险有多大
哈希编码可能出现两个不同词元得到相同编码的碰撞。模型便无法从输入表示上区分它们。至少发生一次碰撞的概率可以用生日问题近似估算:
p ≈ 1 - exp(-n(n - 1) / (2M))
其中 n 是词元数,M 是编码空间大小。当 n 远小于 M 的平方根时,可以简化为:
p ≈ n² / (2M)
编码空间大小取决于设计。如果每个维度元素均匀取自 256 个值,那么 d 维编码空间的 M = 256^d。当 d = 16 时,M = 2^128,碰撞概率通常极低。
风险主要集中在把编码压得很短的时候。例如把编码压成 32 位整数,编码空间约为 43 亿。如果词元数达到 50 万,碰撞概率会很高。因此,碰撞问题往往不是哈希函数本身,而是编码空间设计过小。
可训练嵌入表为每个词元分配独立行,原则上不存在哈希碰撞,但也因此需要维护更大的参数矩阵。
对比表格
| 对比维度 | 可训练词嵌入表 | 固定编码方案 |
|---|---|---|
| 输入层参数 | 大量可训练参数 | 无可训练参数,但只读编码表仍占存储 |
| 参数权重 | 按训练精度占显存 | 编码表通常常驻内存或显存 |
| 梯度 | 输入层有梯度 | 输入层无梯度;投影层有梯度 |
| 优化器状态 | 有 AdamW 等状态 | 输入层无优化器状态;投影层有 |
| 语义表示来源 | 训练中自动学习 | 预先确定,依赖上层网络和投影层学习 |
| 罕见词处理 | 样本不足时可能学不充分 | 与词频无关,但语义效果需验证 |
| 未登录词处理 | 通常回退到 UNK | 按字符串哈希可覆盖;按 id 哈希则不行 |
| 输出投影 | 可与嵌入共享,weight tying 时省参数 | 无法共享,通常需单独训练并计入资源 |
| 词表扩展成本 | 需扩参数矩阵并重训或增量训练 | 分配新编码键即可,但需控制冲突 |
| 编码冲突风险 | 无 | 有,按生日问题公式估算并检测 |
| 工程成熟度 | 高 | 较低,需额外验证 |
| 推理一致性 | 依赖参数版本一致 | 依赖哈希函数、编码规则、分词器和词表版本一致 |
| 迁移风险 | 低 | 较高,需要对照实验和回归监控 |
如何检测并处理编码碰撞
上线前应先做离线碰撞检测。注意:冲突只统计不同 token 的编码相同,重复出现的 token 或同一 token 不应被误计为冲突。因此检测前要先对 token 去重。
def detect_collisions(tokens, num_code: int = NUM_CODE):"""tokens: 词元字符串列表;返回不同 token 之间的冲突。"""# 先按首次出现顺序去重,避免重复 token 被算成冲突。unique_tokens = list(dict.fromkeys(tokens))seen = {}collisions = []for tok in unique_tokens:code_id = token_to_code_id(tok, num_code)if code_id in seen:collisions.append((seen[code_id], tok, code_id))else:seen[code_id] = tokn = len(unique_tokens)collision_count = n - len(seen)collision_rate = collision_count / n if n else 0.0print(f"唯一 token 数={n},唯一编码数={len(seen)},"f"冲突数={collision_count},冲突率={collision_rate:.6f}")return collisions
实际工程中,可以先用生日问题公式做粗略估算,再在全量词表上离线验证。处理冲突时,可以考虑以下方案:
- 扩大编码空间:增加 code_id 位数或维度,优先从根源降低碰撞概率。
- 第二哈希或盐值:对冲突词元换用不同种子、盐值或第二哈希函数生成备用编码。
- 开放寻址或线性探测:冲突较少时,对冲突词元按确定性规则尝试固定偏移。例如探测序列为
code_id、code_id + 1、code_id + 2,直到找到未占用编码。建议设置最大尝试次数,超过后回退到统一处理策略。 - 回退嵌入:高频词、关键实体保留少量可训练嵌入,其余使用固定编码,作为折中方案。
- 版本冻结:编码函数、哈希种子、分词器版本、词表版本一并记录,避免训练、评测、推理不一致。
需要澄清一个常见误解:词表不大、没有未登录词需求时,哈希冲突概率通常很低。固定编码的主要收益更常见于词表大、显存紧、未登录词多或需要做对照实验的场景。
三步决策法与六项检查表
三步决策法
- 测可行:用
detect_collisions在全量词表上跑一遍,得到覆盖率、唯一编码数、冲突数和冲突率。 - 算显存:按参数、梯度、优化器状态、编码表、投影层和输出层分别估算,不要漏掉输出投影。
- 做对照:相同数据、超参、训练轮数下做小规模对照训练,按预设阈值决定是否全量迁移。
六项检查表
- 词表覆盖率:固定编码是否覆盖训练、评测和推理的全部词元?未覆盖词元如何处理?
- 编码碰撞率:全量预计算后的冲突率是否低于业务阈值?冲突词对是否可解释、可回退?
- 未登录词比例:统计训练集、验证集和线上请求中的未登录词比例,判断字符串哈希方案的实际价值。
- 显存测算:可训练嵌入是否计入参数、梯度、fp32 优化器状态和可能的 fp32 主权重?固定编码是否计入编码表、投影层和输出层?
- 编码表存储位置:编码表是 CPU 常驻、GPU 常驻还是内存映射?加载方式是否影响训练或推理启动时间?版本哈希是否可检查?
- 对照指标与验收阈值:同数据、同超参、同轮数下比较训练损失、验证损失和关键下游指标;提前约定指标降幅、显存节省目标、碰撞率上限和推理吞吐要求。
常见错误:哪些说法并不成立
哈希冲突一定影响识别吗?不一定。 少量碰撞可能可以容忍,但必须通过离线检测、监控和回退机制控制风险。
固定编码一定省显存吗?不一定。 上层容量扩大、缓存增加、训练轮数变长,或者输出投影需单独训练,都可能抵消节省。只读编码表本身也占存储。
固定编码一定适合长尾词吗?不一定。 前提是按字符串哈希而非 id 哈希;长尾词语义复杂时,效果仍需任务验证。
迁移后只看训练损失够吗?不够。 还要看下游任务、生成质量、推理一致性和线上指标。
固定编码输入层完全没有可训练参数吗?不完全对。 编码表本身没有梯度,但线性投影层、输出投影层和其他适配层通常仍然可训练,并会占用梯度与优化器状态。
迁移到固定编码后如何验收
从可训练嵌入切换到固定编码,建议重点关注四点:
- 编码规则可复现:基于字符串哈希,冲突可控,覆盖完整词表,并记录版本哈希。
- 上层重新调优:投影层、网络容量、训练轮数、学习率可能需要调整,以补偿表示能力的变化。
- 重新核算资源:输入层虽然省了可训练嵌入,但编码表缓存、输出投影、推理路径和显存驻留策略可能改变整体开销。
- 充分对照实验:先小规模验证编码可行性,再全量训练,以目标任务指标作为最终判据。
在具备训练监控与指标对比能力的环境中,应跟踪迁移前后的显存、吞吐、延迟和指标变化;若不具备,至少完整留存每次训练的配置、日志、编码版本和评测结果,保证对比可复现。
总结
语言模型输入层选型,最终要回到具体约束。主流通用、资源充足、追求稳定与生态成熟时,优先选可训练词嵌入;词表庞大、显存紧张、长尾或未登录词明显、需要频繁扩展词表,或需要对照验证可训练输入层收益时,再评估固定编码。
固定编码不是银弹。它能减少输入层可训练参数,但必须正确处理字符串哈希、编码表存储、碰撞检测、版本冻结、输出投影和上层容量变化。真正可执行的选型流程,应该是先算资源账,再做碰撞与覆盖验证,最后用同条件对照训练验收。

登录后可评论,请前往 登录 或 注册