logo

词级、字符级、子词级分词区别与选型指南

作者:菠萝爱吃肉2026.11.16 10:46浏览量:0

简介:大模型的 token 是词、是字还是子词?本文用同一句英文与中文对比词级、字符级、子词级分词,拆解词表、未登录词、序列长度、中文适配等差异,并给出场景化选型表与迁移检查清单,帮助你快速判断分词粒度、控制成本并避免落地踩坑。

一、token 是词、是字还是子词?

在讨论大模型时,”token”是被提及频率最高的概念之一,也是最容易被误解的概念之一。很多人会默认“一个单词就是一个 token”或者“一个汉字就是一个 token”,但真实情况是:token 既不必然等于一个单词,也不必然等于一个汉字。

从工程角度看,token 是分词器根据词表和切分算法把连续文本转换后得到的离散单元。也就是说,它最终由分词策略决定。大模型 token 是词、是字还是子词?答案并不固定。词级分词可能让一个完整单词对应一个 token,字符级分词可能让一个字母或一个汉字对应一个 token,子词级分词则可能把词拆成多个高频片段。

因此,理解 token 不能只看表面文字,而要看它背后的分词粒度。词级、字符级、子词级三种方式并不是简单的“粗细不同”,它们在词表规模、未登录词处理、序列长度、中文适配、语义完整性、计算成本和迁移改造上都存在明显差异。本文围绕这些差异展开,并给出可直接使用的选型思路。

二、先厘清:token 到底是什么?

准确地说,token 是模型词表中的一个索引,对应一段字符串、字符或字节序列。模型并不需要知道人类语言学意义上的“词”边界,它只需要把输入转换为可映射为向量表示的离散符号序列。

为了直观理解,可以看同一个英文词 unhappiness 的三种可能切分方式:

  • 词级切分:[unhappiness]
  • 字符级切分:[u][n][h][a][p][p][i][n][e][s][s]
  • 子词级切分:可能是 [un][happiness],也可能是 [un][happy][ness],具体取决于 BPE、WordPiece 或 Unigram 等算法以及训练词表。

中文也类似。以“图书馆”为例:

  • 词级切分:[图书馆]
  • 字符级切分:[图][书][馆]
  • 子词级切分:可能是 [图书][馆],也可能是 [图][书馆]

这些结果只是示意,用来说明不同粒度带来的差异,并不代表某个模型必然如此切分。真实切分结果由分词器版本、训练语料、词表大小和优化目标决定。

再例如英文 bicycle,可以把它理解为 bi-(二)与 cycle(轮)相关的复合词,但在实际分词中,它可能被切为 [bicycle],也可能被切为 [bi][cycle] 或其他子词片段。不能把某个语言学拆分当成固定 token 边界。

这些例子说明:分词粒度不是天然存在的,而是被设计出来的。不同方案各有取舍,理解这种取舍是后续选型的基础。

三、三种分词粒度如何定义?

词级切分(Word-level):以自然语言中的词为最小单元,一个词通常对应一个 token。它贴合人类阅读直觉,词边界相对清晰,语义完整度较高。但词级分词通常需要词典或分词器,对中文、多语言和开放域文本的适配也更依赖分词质量。

字符级切分(Character-level):以最小书写单位作为 token。这里的“字符”可以是字素、汉字、字母,也可以是字节或 byte-level。字符级词表很小,几乎不会遇到未登录词问题,但同一段文本会被切成更多单元,序列更长,语义承载也更弱。

子词切分(Subword-level):介于词和字符之间,把词拆成高频、可复用的语义片段。常见实现包括 BPE、WordPiece、Unigram 等。SentencePiece 常被视为一种面向无空格语言的子词训练与使用方案,也常与 Unigram 结合使用。子词切分通常由数据驱动:先在海量语料上学习频繁共现的字符组合,再合并成更高层单元。因此,“一个词应该切成几块”往往无法事先固定,而要看模型词表和训练数据。

四、三种分词粒度的共同点

虽然三种方式的切分对象不同,但它们在目标层面高度一致。

第一,它们都负责把连续文本转换为模型可处理的离散符号序列。无论词、字符还是子词,最终都要进入嵌入层,变成模型可以计算的向量。

第二,它们都要求切分结果稳定、可复现、可枚举。训练、推理、微调、上线时必须使用同一套分词规则,否则输入分布会错位,模型效果会明显下降。

第三,它们都依赖语料。词表规模、合并规则、子词片段、字符覆盖度,都来自训练语料的统计结果。语料分布变化,分词方案也可能不再适配。

第四,它们都需要在表达力和效率之间平衡。词表太大,参数和稀疏性压力增加;切分太细,序列长度和推理成本上升。分词的本质不是追求“更细”或“更粗”,而是找到适合任务和成本的平衡点。

五、词级、字符级、子词级到底差在哪?

1. 词表规模与稀疏性差在哪?

词级切分的词表通常较大。自然语言词汇量庞大,还会不断产生新词、专名、缩写和变体,因此容易出现大量低频 token。低频 token 多,会带来参数稀疏、训练信号不足和泛化能力下降等问题。

字符级切分的词表通常很小,几百到几千即可覆盖大量输入,因为它的基础单元数量有限。但字符单元本身语义较少,模型需要更深的序列和更多参数去组合含义。

子词级切分通过统计合并把词表控制在中等规模。它既保留高频完整词,也能把长尾词拆成已知片段,从而在覆盖度和效率之间取得平衡。

比较词表时,建议在相同语料上观察:总词表大小、低频 token 占比、平均词频、稀有字符覆盖率。

2. 未登录词处理谁更稳?

未登录词(OOV)是词级切分的常见问题。训练时没见过的词、专业术语、人名、品牌名、拼写变体,都可能无法被现有词表覆盖。工程上常用 [UNK] 等占位符兜底,但这会损失具体信息。

字符级切分几乎不存在 OOV 问题,因为任意字符串都可以逐字符表达。字节级进一步降低了不可编码字符的风险,适合噪声较大或字符体系复杂的输入。

子词级切分则把新词拆成已知片段组合。例如一个陌生术语可能无法作为一个整体 token 存在,但可以被拆成若干高频片段。它不如字符级那样绝对稳健,但通常比纯词级更可控。

3. 序列长度与计算成本怎么算?

粒度越细,同一段文本被切出的 token 越多,序列越长。序列变长会带来更高的计算量、显存占用和推理延迟。字符级通常最明显,词级通常最省,子词级居中。

评估成本时,不要只看主观感受,而应使用同一口径测量:在相同语料、相同最大上下文长度、相同硬件和批大小下,比较 token 数、平均序列长度、吞吐、显存占用和延迟。这样可以避免因为“例子太短”而误判真实成本。

4. 中文适配谁更好?

中文没有天然空格分隔,词级切分依赖中文分词器,而中文分词本身存在歧义。例如“研究生命起源”“南京市长江大桥”这类句子,不同分词结果会影响后续模型输入。

字符级在中文场景下比较自然,因为一个汉字就是一个天然书写单元。但它的问题是语义单元过碎,模型需要组合大量字符才能表达完整含义。

子词级切分在中文中通常更均衡。它既能把“火车”“图书”“人工智能”等常见搭配合并,也能对生僻组合、专业术语保持一定拆解能力。如果训练语料充分覆盖目标领域,子词切分通常更容易兼顾效率和表达。

5. 语义与可解释性如何?

词级单元的语义完整性最高,便于人工检查、调试和做规则处理。字符级单元最原子,单个字往往缺少稳定语义。子词级介于两者之间,高频子词可能带有可辨识含义,但整体边界不如词级清晰。

如果任务需要强可解释性、强人工审计或规则化文本处理,词级通常更直观。如果是通用语言建模、生成、对话、检索增强等业务,子词级更常见,也更容易在性能和成本之间取得平衡。

六、用同一句文本看三种粒度

下面用同一句英文和中文做示意对比。需要注意:不同分词器结果会不同,这里只是为了说明粒度差异。

文本 粒度 示意切分 直观影响
The tokenizer splits text into tokens. 词级 [The][tokenizer][splits][text][into][tokens] 语义完整、序列短,但新词和形态变化容易 OOV
The tokenizer splits text into tokens. 字符级 [T][h][e][ ][t][o][k][e][n]... OOV 极低,但 token 数量明显增加
The tokenizer splits text into tokens. 子词级 [The][token][izer][splits][text][into][tokens] 兼顾常见词与长尾表达,序列长度适中
火车站和图书馆是常见地点。 词级 [火车站][和][图书馆][是][常见][地点] 边界清楚,但依赖分词质量
火车站和图书馆是常见地点。 字符级 [火][车][站][和][图][书][馆][是][常][见][地][点] 覆盖稳,但语义碎、序列长
火车站和图书馆是常见地点。 子词级 [火车][站][和][图书][馆][是][常见][地点] 常见搭配可合并,长尾组合可拆解

这个表能看出:词级更像“人读的词”,字符级更像“最小书写单位”,子词级则像“统计出来的可复用片段”。选型时不能只凭直观,还要结合语料、任务、成本和迁移条件。

七、关键差异对比表

对比维度 词级切分 字符级切分 子词级切分
最小单元 词 字符、字素或字节 高频语义片段
词表规模 通常较大 通常很小 中等
未登录词处理 较弱,常需占位符 强,几乎无此问题 较强,可拆分组合
序列长度 通常较短 通常较长 适中
计算成本 相对较低 相对较高 中等
中文适配 依赖分词器,歧义较多 自然但语义单元过碎 通常较均衡
语义完整性 较高 较低 中高
生成机制 词典、规则或分词器 字符或字节规则 BPE、WordPiece、Unigram 等统计学习
迁移成本 可能依赖外部词典和分词器 词表改造相对简单,但模型适配复杂 通常需重建词表与嵌入层

八、不同场景怎么选?一张表看懂

场景约束 推荐粒度 注意事项
通用大模型、对话、生成类任务 子词级 关注词表大小、平均 token 长度、语料覆盖和迁移成本
中文为主、专业术语较多 子词级,必要时配合字符或字节回退 用业务语料验证术语、缩略语、数字、标点和领域专名
规则化短文本、强可解释需求 词级 维护词典和分词规则,处理新词、歧义和 OOV 占位
输入噪声大、生僻符号多、OOV 风险高 字符级或字节级 重点评估长序列、上下文窗口、吞吐和显存压力
已有模型或模型服务平台 优先沿用官方分词方案 不要自行混用分词器,遵循官方接口、调用约定和鉴权流程

选型没有绝对优劣,关键看约束条件。如果任务强调可解释性和规则控制,词级更直观;如果任务强调通用语言理解和大规模训练,子词级通常更务实;如果输入极其开放且不能丢失字符信息,字符级或字节级更稳妥。

九、迁移和使用时要注意什么?

切换分词方案不是简单替换一个函数,它会影响训练、推理、部署、成本和稳定性。迁移前应重点检查以下内容。

1. 训练与推理一致性
分词器必须严格一致。训练时使用词级,推理时使用子词,或者训练版本和上线版本不一致,都会导致输入分布错位。

2. 词表与嵌入层对齐
更换分词粒度通常意味着词表、嵌入层、输出层都要重新构建。尤其是子词级切分,词表变化会影响模型参数和迁移成本,需要提前评估。

3. 序列长度预算
粒度变细会拉长序列。迁移前要统计同一语料下的平均 token 数、最大 token 数、超过上下文窗口的比例,以及推理吞吐和显存变化。

4. 中文与垂直领域适配
如果迁移到中文或专业领域,需要在目标语料上重新验证切分质量。重点检查专业术语、缩略语、型号名、法规条款、药品名、代码符号等是否被过度切碎。

5. 接口与流程兼容
涉及模型或服务切换时,要评估接口参数、权限、鉴权、限流、日志和调用流程是否兼容。建议先在非生产环境验证,再逐步放量。

6. 回滚与监控
保留旧分词方案或回退路径。监控切分异常、未知 token 比例、平均长度突增、接口错误率变化等指标,确保切换过程可控。

迁移检查表如下:

检查项 检查内容 通过标准
语言与语料 是否覆盖目标语言、术语、标点和符号 抽样切分符合业务预期
OOV 风险 新词、专名、缩写是否过多 关键实体不丢失或可控回退
token 长度分布 平均长度、最大长度、超长比例 不超上下文,成本可接受
词表大小 词表是否过大或过小 低频占比合理,参数压力可控
训练推理一致性 是否使用同一分词器和版本 无版本或配置差异
性能影响 吞吐、延迟、显存变化 满足线上容量要求
回滚方案 是否保留旧方案 异常时可快速切换

十、总结

token 的本质不是天然的“一个词”,也不是天然的“一个字”,而是分词器根据词表、算法和训练语料切出的模型输入单元。词级、字符级、子词级的差异,根源在于它们在词表规模、未登录词处理、序列长度、中文适配和语义完整性上做出了不同取舍。

词级重语义,字符级重覆盖,子词级重平衡。实际选型时,应结合文本语言、任务目标、成本约束、中文适配和既有技术栈综合判断。切换分词方案时,尤其要关注训练推理一致性、词表嵌入对齐、序列长度预算、回滚能力和监控机制,从而做出可落地、可验证、可长期维护的决策。

发表评论

活动