logo

语言模型输入层:可训练嵌入与固定编码选型

作者:rousong2026.11.16 10:52浏览量:0

简介:本文给出语言模型输入层选型方法:先算清可训练嵌入与固定编码的参数、梯度、优化器及编码表开销,再用字符串哈希映射、碰撞检测和离线脚本验证可行性,最后通过同数据对照训练验收。适合词表大、显存紧、长尾词多或需做消融实验的场景。

结论先行

语言模型输入层怎么选?可训练词嵌入与哈希固定编码并不是简单的“哪个更好”,而是取决于词表规模、显存预算、未登录词比例、工程复杂度和验收目标。主流通用大模型、资源充足、追求生态成熟与可调试性时,优先选可训练词嵌入表;当词表规模很大、显存或内存紧张、长尾词与未登录词比例高,或者需要通过对照实验回答“可训练输入层到底值多少收益”时,再评估固定编码方案。

建议按三步走:第一,用参数、梯度、优化器状态、编码表存储和投影层开销算清资源账;第二,用字符串哈希映射、生日问题公式和离线脚本检测覆盖率与碰撞率;第三,在相同数据、相同超参、相同训练轮数下做小规模对照训练,并提前约定显存节省、指标降幅、碰撞率上限和推理吞吐等验收阈值。

可训练词嵌入与固定编码分别是什么

语言模型输入层的核心任务,是把离散词元映射为连续向量,这一步通常称为词元嵌入或向量查找。

可训练词嵌入维护一张“词表大小 × 维度”的参数矩阵,每个词元对应一行向量。向量会在反向传播中持续更新,训练中语义相近的词往往会逐渐靠近。它的优点是语义表示可以直接学习,工程成熟度高;代价是词表越大,参数、梯度、优化器状态和显存压力越大。

固定编码中的哈希编码,则不在输入层引入可训练参数。系统用确定性函数,例如 SHA-256,将词元映射为固定向量或固定编码键。向量本身不随训练改变,模型只能在这些“固定身份证号”之上学习语言规律。它的优势是输入层可训练参数少,并且理论上可以覆盖未登录词;但语义表示更多依赖上层网络、线性投影、模型容量和数据量来补偿。

可以把选型拆成三个问题:识别、可学习性、实用性。识别是指每个词元是否有稳定且唯一的输入表示;可学习性是指上层网络能否从这些表示中学到足够有用的语言规律;实用性是指节省下来的资源是否能转化为任务收益。这个划分是为了讨论方便,并非业界统一术语。

最小实现:字符串到编码键,再到线性投影

固定编码方案最容易犯的错误,是直接对分词器输出的整数 id 做哈希。这样无法覆盖词表中没有的新词元,因为新词根本没有 id 可用。更可行的做法是:对词元字符串做哈希,得到稳定的编码键或 code_id,再查表得到向量,最后通过一个可训练线性投影接入 Transformer 隐藏层。

  1. import hashlib
  2. import torch
  3. import torch.nn as nn
  4. DIM = 512
  5. NUM_CODE = 1024
  6. def token_to_code_id(token: str, num_code: int = NUM_CODE) -> int:
  7. """按词元字符串生成稳定的编码键,不直接使用分词器整数 id。"""
  8. digest = hashlib.sha256(token.encode("utf-8")).digest()
  9. return int.from_bytes(digest[:8], "big") % num_code
  10. def code_id_to_vector(code_id: int, dim: int = DIM):
  11. """为编码键生成确定性向量,并逐元素映射到 [-1, 1]。"""
  12. digest = hashlib.sha256(f"code-{code_id}".encode("utf-8")).digest()
  13. repeats = (dim + len(digest) - 1) // len(digest)
  14. return [(v / 127.5 - 1.0) for v in (digest * repeats)[:dim]]
  15. # 离线预计算一次;生产环境可按实际 code_id 数量扩大表规模。
  16. _FIXED_TABLE = torch.tensor(
  17. [code_id_to_vector(i) for i in range(NUM_CODE)],
  18. dtype=torch.float32,
  19. )
  20. class FixedEncodingWithProjection(nn.Module):
  21. def __init__(self, dim: int = DIM):
  22. super().__init__()
  23. # buffer 不是参数,但会随 model.to(device) 一起搬移。
  24. self.register_buffer("table", _FIXED_TABLE)
  25. # 512 -> 512 的可训练投影层,接入隐藏维 512 的 Transformer。
  26. self.proj = nn.Linear(dim, dim)
  27. def forward(self, tokens):
  28. # tokens: list[str],例如分词器切出的 token 字符串。
  29. ids = torch.tensor(
  30. [token_to_code_id(t, self.table.shape[0]) for t in tokens],
  31. dtype=torch.long,
  32. device=self.table.device,
  33. )
  34. x = self.table[ids] # 查表:token string -> code_id -> vector
  35. return self.proj(x)

这里有三个关键点。

第一,哈希必须作用于词元字符串,而不是分词器整数 id。只有对字符串做哈希,未登录词在分词后仍可能获得稳定编码键。

第二,编码表只是存储结构,不是可训练参数。示例使用 register_buffer,因此调用 model.to("cuda") 时,编码表会随模型迁移。若改用外部字典缓存,则需要手动放到 GPU,并常驻显存。

第三,Linear(512, 512) 是可训练适配层。它的参数量约为 512 × 512 + 512 = 262656,和大型嵌入表相比可以忽略,但它确实参与梯度更新和优化器状态计算,不能误认为固定编码方案完全没有任何可训练参数。

两种方案有哪些共同点

尽管输入层实现不同,两类方案在目标上完全一致:都要把离散词元映射为连续向量。

共同点包括:

  1. 上层网络大多可沿用:注意力层、前馈层、归一化层通常可以保持原结构,主要改动集中在输入接口。
  2. 训练目标一致:都需要通过语言模型损失、验证集指标和下游任务效果来评估。
  3. 不能只靠设计直觉判断优劣:固定编码是否能补上语义差距,必须靠同条件对照训练验证。
  4. 推理一致性都很重要:可训练嵌入依赖参数版本一致;固定编码依赖哈希函数、编码规则、分词器版本和词表版本一致。

主要差异在于:可训练嵌入让输入层直接学习语义;固定编码把语义表示更多交给上层网络和投影层。若原模型使用 weight tying,即输入嵌入与输出投影共享同一个矩阵,可训练方案可以省掉输出侧的一份参数;而固定编码没有可共享的可训练嵌入表,输出投影通常需要单独训练,其参数量和显存必须重新计入。

固定编码会省多少显存、代价是什么

显存公式要按精度和对象拆开

原来看起来简单的“参数量 × 4 字节”并不足够。更稳妥的做法是把参数权重、梯度、优化器状态、只读编码表、投影层和激活开销分开统计。

记 n 为可训练参数量,b_w、b_g、b_m、b_v 分别为权重、梯度、AdamW 一阶矩、二阶矩的字节数,若训练框架额外维护 fp32 主权重,还要加 b_master。静态显存可近似写为:

  1. 显存 ≈ n × (b_w + b_g + b_m + b_v + b_master)
  2. + 固定编码表存储
  3. + 投影层和输出层参数开销
  4. + 激活值与临时缓存

常见 AdamW 混合精度训练下:

  • 如果使用 bf16 或 fp16 计算,梯度同样用 bf16 或 fp16,AdamW 一阶和二阶矩用 fp32:
    b_w = 2,b_g = 2,b_m = 4,b_v = 4。
  • 若不维护 fp32 主权重,每个可训练参数约 12 字节。
  • 若额外维护 fp32 主权重,每个可训练参数约 16 字节。
  • 如果使用纯 fp32 训练,通常也接近每个可训练参数 16 字节,具体取决于框架实现。

因此,不能把优化器状态简单看成“参数量的一小半”,也不能只算权重而漏掉梯度和优化器状态。

可训练嵌入表的算例

假设词表大小为 50 万,维度为 1024,那么嵌入表参数量为:

  1. 500000 × 1024 ≈ 512000000,即约 5.12 亿参数

若按每个可训练参数 12 字节计算,静态开销约为:

  1. 5.12 亿 × 12 字节 ≈ 6.1 GB

若框架额外维护 fp32 主权重,按 16 字节计算,则约为:

  1. 5.12 亿 × 16 字节 ≈ 8.2 GB

这还不包括激活值、CUDA 上下文、临时缓冲区、分词器缓存和框架碎片。如果原模型使用 weight tying,输出投影可以共享这份嵌入参数;如果没有 weight tying,输出投影还会再增加一份类似规模的可训练参数。因此,512M 级别的嵌入表只估算为约 2GB 到 3GB 会明显偏低,容易低估显存需求。

固定编码省下的是什么

固定编码方案下,输入层没有嵌入表对应的可训练参数,也就没有这部分梯度、优化器状态和 weight tying 前的嵌入表开销。线性投影层仍然可训练,例如 Linear(512, 512) 的静态开销约为:

  1. 262656 × 12 字节 ≈ 3.1 MB

如果还需要单独训练输出投影,例如输出层维度为 vocab_size × hidden_size,则要按实际参数量重新计算。

但固定编码并非“零显存”。只读编码表仍然占存储:

  • 如果编码表只为有限 code_id 分配向量,例如 1024 个 code_id × 512 维 × float32,约 2 MB。
  • 如果为完整词表每个 token 预计算一个向量,例如 50 万 token × 512 维 × float32,约 1 GB。
  • 如果使用 fp16 或 int8 压缩,存储可下降,但可能引入精度和工程复杂度的变化。

所以,固定编码的主要收益是减少可训练参数和相应梯度、优化器状态,而不是完全没有存储成本。

语义表示从哪里来

可训练嵌入在训练中自动优化每个词的表示,模型可以把语义关系、词频信息和上下文适配直接写进嵌入矩阵。固定编码的向量预先确定,语义关系主要由上层网络学习。因此通常需要加一个线性投影层,把固定向量调整到更适合当前模型的表示空间。

在小模型、短训练、复杂语义任务下,固定编码较难追上可训练嵌入。模型容量更大、数据更充足、训练更充分时,上层网络有可能补回一部分差距。但这属于条件性判断,不是普遍定论。最可靠的方式仍然是同数据、同超参、同轮数的小规模对照训练。

罕见词和未登录词怎么处理

可训练嵌入中,罕见词样本少,向量可能学不充分。分词器切出的新词元如果没有对应行,只能回退到 UNK 或其他占位符。

固定编码对未登录词更友好的前提是:编码必须基于词元字符串,而不是分词器整数 id。对整数 id 哈希无法覆盖词表里没有的新词元,因为新词没有可用 id。

此外还有两个条件:

  1. 分词器要能切出可哈希字符串。byte-level BPE 这类词元形式可以,纯 id 映射不行。
  2. 完整词表和编码规则要离线冻结。编码函数、哈希种子、分词器版本、词表版本必须一致,否则训练、评测和推理会不一致。

工程上还建议增加回退策略。例如分词失败、空 token、非法 UTF-8、超长 token 或哈希异常时,统一回退到 <unk>,并记录日志字段,包括原始 token、回退原因、分词器版本、编码版本和请求标识。这样便于排查线上问题与版本漂移。

因此,固定编码对长尾词和未登录词只是“较友好”,具体效果仍要靠任务指标验证。

词表扩展成本谁更低

可训练嵌入扩词表时,通常需要扩大参数矩阵。新增词向量要么重新训练,要么做增量训练,还要处理新旧参数的兼容和版本迁移。

固定编码的编码规则与词表规模解耦。新增词元时,只要分词器能切出字符串,就可以通过哈希得到稳定编码键,不必必然增加输入层参数。对于频繁更新词表、动态加入新领域词的场景,固定编码在工程上更灵活。

但这也意味着编码冲突和覆盖率控制更重要。词表扩展越频繁,越需要建立离线碰撞检测、版本冻结和回归评测流程。

编码冲突风险有多大

哈希编码可能出现两个不同词元得到相同编码的碰撞。模型便无法从输入表示上区分它们。至少发生一次碰撞的概率可以用生日问题近似估算:

  1. p ≈ 1 - exp(-n(n - 1) / (2M))

其中 n 是词元数,M 是编码空间大小。当 n 远小于 M 的平方根时,可以简化为:

  1. p ≈ n² / (2M)

编码空间大小取决于设计。如果每个维度元素均匀取自 256 个值,那么 d 维编码空间的 M = 256^d。当 d = 16 时,M = 2^128,碰撞概率通常极低。

风险主要集中在把编码压得很短的时候。例如把编码压成 32 位整数,编码空间约为 43 亿。如果词元数达到 50 万,碰撞概率会很高。因此,碰撞问题往往不是哈希函数本身,而是编码空间设计过小。

可训练嵌入表为每个词元分配独立行,原则上不存在哈希碰撞,但也因此需要维护更大的参数矩阵。

对比表格

对比维度 可训练词嵌入表 固定编码方案
输入层参数 大量可训练参数 无可训练参数,但只读编码表仍占存储
参数权重 按训练精度占显存 编码表通常常驻内存或显存
梯度 输入层有梯度 输入层无梯度;投影层有梯度
优化器状态 有 AdamW 等状态 输入层无优化器状态;投影层有
语义表示来源 训练中自动学习 预先确定,依赖上层网络和投影层学习
罕见词处理 样本不足时可能学不充分 与词频无关,但语义效果需验证
未登录词处理 通常回退到 UNK 按字符串哈希可覆盖;按 id 哈希则不行
输出投影 可与嵌入共享,weight tying 时省参数 无法共享,通常需单独训练并计入资源
词表扩展成本 需扩参数矩阵并重训或增量训练 分配新编码键即可,但需控制冲突
编码冲突风险 无 有,按生日问题公式估算并检测
工程成熟度 高 较低,需额外验证
推理一致性 依赖参数版本一致 依赖哈希函数、编码规则、分词器和词表版本一致
迁移风险 低 较高,需要对照实验和回归监控

如何检测并处理编码碰撞

上线前应先做离线碰撞检测。注意:冲突只统计不同 token 的编码相同,重复出现的 token 或同一 token 不应被误计为冲突。因此检测前要先对 token 去重。

  1. def detect_collisions(tokens, num_code: int = NUM_CODE):
  2. """tokens: 词元字符串列表;返回不同 token 之间的冲突。"""
  3. # 先按首次出现顺序去重,避免重复 token 被算成冲突。
  4. unique_tokens = list(dict.fromkeys(tokens))
  5. seen = {}
  6. collisions = []
  7. for tok in unique_tokens:
  8. code_id = token_to_code_id(tok, num_code)
  9. if code_id in seen:
  10. collisions.append((seen[code_id], tok, code_id))
  11. else:
  12. seen[code_id] = tok
  13. n = len(unique_tokens)
  14. collision_count = n - len(seen)
  15. collision_rate = collision_count / n if n else 0.0
  16. print(
  17. f"唯一 token 数={n},唯一编码数={len(seen)},"
  18. f"冲突数={collision_count},冲突率={collision_rate:.6f}"
  19. )
  20. return collisions

实际工程中,可以先用生日问题公式做粗略估算,再在全量词表上离线验证。处理冲突时,可以考虑以下方案:

  1. 扩大编码空间:增加 code_id 位数或维度,优先从根源降低碰撞概率。
  2. 第二哈希或盐值:对冲突词元换用不同种子、盐值或第二哈希函数生成备用编码。
  3. 开放寻址或线性探测:冲突较少时,对冲突词元按确定性规则尝试固定偏移。例如探测序列为 code_id、code_id + 1、code_id + 2,直到找到未占用编码。建议设置最大尝试次数,超过后回退到统一处理策略。
  4. 回退嵌入:高频词、关键实体保留少量可训练嵌入,其余使用固定编码,作为折中方案。
  5. 版本冻结:编码函数、哈希种子、分词器版本、词表版本一并记录,避免训练、评测、推理不一致。

需要澄清一个常见误解:词表不大、没有未登录词需求时,哈希冲突概率通常很低。固定编码的主要收益更常见于词表大、显存紧、未登录词多或需要做对照实验的场景。

三步决策法与六项检查表

三步决策法

  1. 测可行:用 detect_collisions 在全量词表上跑一遍,得到覆盖率、唯一编码数、冲突数和冲突率。
  2. 算显存:按参数、梯度、优化器状态、编码表、投影层和输出层分别估算,不要漏掉输出投影。
  3. 做对照:相同数据、超参、训练轮数下做小规模对照训练,按预设阈值决定是否全量迁移。

六项检查表

  1. 词表覆盖率:固定编码是否覆盖训练、评测和推理的全部词元?未覆盖词元如何处理?
  2. 编码碰撞率:全量预计算后的冲突率是否低于业务阈值?冲突词对是否可解释、可回退?
  3. 未登录词比例:统计训练集、验证集和线上请求中的未登录词比例,判断字符串哈希方案的实际价值。
  4. 显存测算:可训练嵌入是否计入参数、梯度、fp32 优化器状态和可能的 fp32 主权重?固定编码是否计入编码表、投影层和输出层?
  5. 编码表存储位置:编码表是 CPU 常驻、GPU 常驻还是内存映射?加载方式是否影响训练或推理启动时间?版本哈希是否可检查?
  6. 对照指标与验收阈值:同数据、同超参、同轮数下比较训练损失、验证损失和关键下游指标;提前约定指标降幅、显存节省目标、碰撞率上限和推理吞吐要求。

常见错误:哪些说法并不成立

哈希冲突一定影响识别吗?不一定。 少量碰撞可能可以容忍,但必须通过离线检测、监控和回退机制控制风险。

固定编码一定省显存吗?不一定。 上层容量扩大、缓存增加、训练轮数变长,或者输出投影需单独训练,都可能抵消节省。只读编码表本身也占存储。

固定编码一定适合长尾词吗?不一定。 前提是按字符串哈希而非 id 哈希;长尾词语义复杂时,效果仍需任务验证。

迁移后只看训练损失够吗?不够。 还要看下游任务、生成质量、推理一致性和线上指标。

固定编码输入层完全没有可训练参数吗?不完全对。 编码表本身没有梯度,但线性投影层、输出投影层和其他适配层通常仍然可训练,并会占用梯度与优化器状态。

迁移到固定编码后如何验收

从可训练嵌入切换到固定编码,建议重点关注四点:

  1. 编码规则可复现:基于字符串哈希,冲突可控,覆盖完整词表,并记录版本哈希。
  2. 上层重新调优:投影层、网络容量、训练轮数、学习率可能需要调整,以补偿表示能力的变化。
  3. 重新核算资源:输入层虽然省了可训练嵌入,但编码表缓存、输出投影、推理路径和显存驻留策略可能改变整体开销。
  4. 充分对照实验:先小规模验证编码可行性,再全量训练,以目标任务指标作为最终判据。

在具备训练监控与指标对比能力的环境中,应跟踪迁移前后的显存、吞吐、延迟和指标变化;若不具备,至少完整留存每次训练的配置、日志、编码版本和评测结果,保证对比可复现。

总结

语言模型输入层选型,最终要回到具体约束。主流通用、资源充足、追求稳定与生态成熟时,优先选可训练词嵌入;词表庞大、显存紧张、长尾或未登录词明显、需要频繁扩展词表,或需要对照验证可训练输入层收益时,再评估固定编码。

固定编码不是银弹。它能减少输入层可训练参数,但必须正确处理字符串哈希、编码表存储、碰撞检测、版本冻结、输出投影和上层容量变化。真正可执行的选型流程,应该是先算资源账,再做碰撞与覆盖验证,最后用同条件对照训练验收。

发表评论

活动