词级、字符级、子词级分词区别与选型指南
作者:菠萝爱吃肉2026.11.16 10:46浏览量:0简介:大模型的 token 是词、是字还是子词?本文用同一句英文与中文对比词级、字符级、子词级分词,拆解词表、未登录词、序列长度、中文适配等差异,并给出场景化选型表与迁移检查清单,帮助你快速判断分词粒度、控制成本并避免落地踩坑。
一、token 是词、是字还是子词?
在讨论大模型时,”token”是被提及频率最高的概念之一,也是最容易被误解的概念之一。很多人会默认“一个单词就是一个 token”或者“一个汉字就是一个 token”,但真实情况是:token 既不必然等于一个单词,也不必然等于一个汉字。
从工程角度看,token 是分词器根据词表和切分算法把连续文本转换后得到的离散单元。也就是说,它最终由分词策略决定。大模型 token 是词、是字还是子词?答案并不固定。词级分词可能让一个完整单词对应一个 token,字符级分词可能让一个字母或一个汉字对应一个 token,子词级分词则可能把词拆成多个高频片段。
因此,理解 token 不能只看表面文字,而要看它背后的分词粒度。词级、字符级、子词级三种方式并不是简单的“粗细不同”,它们在词表规模、未登录词处理、序列长度、中文适配、语义完整性、计算成本和迁移改造上都存在明显差异。本文围绕这些差异展开,并给出可直接使用的选型思路。
二、先厘清:token 到底是什么?
准确地说,token 是模型词表中的一个索引,对应一段字符串、字符或字节序列。模型并不需要知道人类语言学意义上的“词”边界,它只需要把输入转换为可映射为向量表示的离散符号序列。
为了直观理解,可以看同一个英文词 unhappiness 的三种可能切分方式:
- 词级切分:
[unhappiness] - 字符级切分:
[u][n][h][a][p][p][i][n][e][s][s] - 子词级切分:可能是
[un][happiness],也可能是[un][happy][ness],具体取决于 BPE、WordPiece 或 Unigram 等算法以及训练词表。
中文也类似。以“图书馆”为例:
- 词级切分:
[图书馆] - 字符级切分:
[图][书][馆] - 子词级切分:可能是
[图书][馆],也可能是[图][书馆]
这些结果只是示意,用来说明不同粒度带来的差异,并不代表某个模型必然如此切分。真实切分结果由分词器版本、训练语料、词表大小和优化目标决定。
再例如英文 bicycle,可以把它理解为 bi-(二)与 cycle(轮)相关的复合词,但在实际分词中,它可能被切为 [bicycle],也可能被切为 [bi][cycle] 或其他子词片段。不能把某个语言学拆分当成固定 token 边界。
这些例子说明:分词粒度不是天然存在的,而是被设计出来的。不同方案各有取舍,理解这种取舍是后续选型的基础。
三、三种分词粒度如何定义?
词级切分(Word-level):以自然语言中的词为最小单元,一个词通常对应一个 token。它贴合人类阅读直觉,词边界相对清晰,语义完整度较高。但词级分词通常需要词典或分词器,对中文、多语言和开放域文本的适配也更依赖分词质量。
字符级切分(Character-level):以最小书写单位作为 token。这里的“字符”可以是字素、汉字、字母,也可以是字节或 byte-level。字符级词表很小,几乎不会遇到未登录词问题,但同一段文本会被切成更多单元,序列更长,语义承载也更弱。
子词切分(Subword-level):介于词和字符之间,把词拆成高频、可复用的语义片段。常见实现包括 BPE、WordPiece、Unigram 等。SentencePiece 常被视为一种面向无空格语言的子词训练与使用方案,也常与 Unigram 结合使用。子词切分通常由数据驱动:先在海量语料上学习频繁共现的字符组合,再合并成更高层单元。因此,“一个词应该切成几块”往往无法事先固定,而要看模型词表和训练数据。
四、三种分词粒度的共同点
虽然三种方式的切分对象不同,但它们在目标层面高度一致。
第一,它们都负责把连续文本转换为模型可处理的离散符号序列。无论词、字符还是子词,最终都要进入嵌入层,变成模型可以计算的向量。
第二,它们都要求切分结果稳定、可复现、可枚举。训练、推理、微调、上线时必须使用同一套分词规则,否则输入分布会错位,模型效果会明显下降。
第三,它们都依赖语料。词表规模、合并规则、子词片段、字符覆盖度,都来自训练语料的统计结果。语料分布变化,分词方案也可能不再适配。
第四,它们都需要在表达力和效率之间平衡。词表太大,参数和稀疏性压力增加;切分太细,序列长度和推理成本上升。分词的本质不是追求“更细”或“更粗”,而是找到适合任务和成本的平衡点。
五、词级、字符级、子词级到底差在哪?
1. 词表规模与稀疏性差在哪?
词级切分的词表通常较大。自然语言词汇量庞大,还会不断产生新词、专名、缩写和变体,因此容易出现大量低频 token。低频 token 多,会带来参数稀疏、训练信号不足和泛化能力下降等问题。
字符级切分的词表通常很小,几百到几千即可覆盖大量输入,因为它的基础单元数量有限。但字符单元本身语义较少,模型需要更深的序列和更多参数去组合含义。
子词级切分通过统计合并把词表控制在中等规模。它既保留高频完整词,也能把长尾词拆成已知片段,从而在覆盖度和效率之间取得平衡。
比较词表时,建议在相同语料上观察:总词表大小、低频 token 占比、平均词频、稀有字符覆盖率。
2. 未登录词处理谁更稳?
未登录词(OOV)是词级切分的常见问题。训练时没见过的词、专业术语、人名、品牌名、拼写变体,都可能无法被现有词表覆盖。工程上常用 [UNK] 等占位符兜底,但这会损失具体信息。
字符级切分几乎不存在 OOV 问题,因为任意字符串都可以逐字符表达。字节级进一步降低了不可编码字符的风险,适合噪声较大或字符体系复杂的输入。
子词级切分则把新词拆成已知片段组合。例如一个陌生术语可能无法作为一个整体 token 存在,但可以被拆成若干高频片段。它不如字符级那样绝对稳健,但通常比纯词级更可控。
3. 序列长度与计算成本怎么算?
粒度越细,同一段文本被切出的 token 越多,序列越长。序列变长会带来更高的计算量、显存占用和推理延迟。字符级通常最明显,词级通常最省,子词级居中。
评估成本时,不要只看主观感受,而应使用同一口径测量:在相同语料、相同最大上下文长度、相同硬件和批大小下,比较 token 数、平均序列长度、吞吐、显存占用和延迟。这样可以避免因为“例子太短”而误判真实成本。
4. 中文适配谁更好?
中文没有天然空格分隔,词级切分依赖中文分词器,而中文分词本身存在歧义。例如“研究生命起源”“南京市长江大桥”这类句子,不同分词结果会影响后续模型输入。
字符级在中文场景下比较自然,因为一个汉字就是一个天然书写单元。但它的问题是语义单元过碎,模型需要组合大量字符才能表达完整含义。
子词级切分在中文中通常更均衡。它既能把“火车”“图书”“人工智能”等常见搭配合并,也能对生僻组合、专业术语保持一定拆解能力。如果训练语料充分覆盖目标领域,子词切分通常更容易兼顾效率和表达。
5. 语义与可解释性如何?
词级单元的语义完整性最高,便于人工检查、调试和做规则处理。字符级单元最原子,单个字往往缺少稳定语义。子词级介于两者之间,高频子词可能带有可辨识含义,但整体边界不如词级清晰。
如果任务需要强可解释性、强人工审计或规则化文本处理,词级通常更直观。如果是通用语言建模、生成、对话、检索增强等业务,子词级更常见,也更容易在性能和成本之间取得平衡。
六、用同一句文本看三种粒度
下面用同一句英文和中文做示意对比。需要注意:不同分词器结果会不同,这里只是为了说明粒度差异。
| 文本 | 粒度 | 示意切分 | 直观影响 |
|---|---|---|---|
| The tokenizer splits text into tokens. | 词级 | [The][tokenizer][splits][text][into][tokens] |
语义完整、序列短,但新词和形态变化容易 OOV |
| The tokenizer splits text into tokens. | 字符级 | [T][h][e][ ][t][o][k][e][n]... |
OOV 极低,但 token 数量明显增加 |
| The tokenizer splits text into tokens. | 子词级 | [The][token][izer][splits][text][into][tokens] |
兼顾常见词与长尾表达,序列长度适中 |
| 火车站和图书馆是常见地点。 | 词级 | [火车站][和][图书馆][是][常见][地点] |
边界清楚,但依赖分词质量 |
| 火车站和图书馆是常见地点。 | 字符级 | [火][车][站][和][图][书][馆][是][常][见][地][点] |
覆盖稳,但语义碎、序列长 |
| 火车站和图书馆是常见地点。 | 子词级 | [火车][站][和][图书][馆][是][常见][地点] |
常见搭配可合并,长尾组合可拆解 |
这个表能看出:词级更像“人读的词”,字符级更像“最小书写单位”,子词级则像“统计出来的可复用片段”。选型时不能只凭直观,还要结合语料、任务、成本和迁移条件。
七、关键差异对比表
| 对比维度 | 词级切分 | 字符级切分 | 子词级切分 |
|---|---|---|---|
| 最小单元 | 词 | 字符、字素或字节 | 高频语义片段 |
| 词表规模 | 通常较大 | 通常很小 | 中等 |
| 未登录词处理 | 较弱,常需占位符 | 强,几乎无此问题 | 较强,可拆分组合 |
| 序列长度 | 通常较短 | 通常较长 | 适中 |
| 计算成本 | 相对较低 | 相对较高 | 中等 |
| 中文适配 | 依赖分词器,歧义较多 | 自然但语义单元过碎 | 通常较均衡 |
| 语义完整性 | 较高 | 较低 | 中高 |
| 生成机制 | 词典、规则或分词器 | 字符或字节规则 | BPE、WordPiece、Unigram 等统计学习 |
| 迁移成本 | 可能依赖外部词典和分词器 | 词表改造相对简单,但模型适配复杂 | 通常需重建词表与嵌入层 |
八、不同场景怎么选?一张表看懂
| 场景约束 | 推荐粒度 | 注意事项 |
|---|---|---|
| 通用大模型、对话、生成类任务 | 子词级 | 关注词表大小、平均 token 长度、语料覆盖和迁移成本 |
| 中文为主、专业术语较多 | 子词级,必要时配合字符或字节回退 | 用业务语料验证术语、缩略语、数字、标点和领域专名 |
| 规则化短文本、强可解释需求 | 词级 | 维护词典和分词规则,处理新词、歧义和 OOV 占位 |
| 输入噪声大、生僻符号多、OOV 风险高 | 字符级或字节级 | 重点评估长序列、上下文窗口、吞吐和显存压力 |
| 已有模型或模型服务平台 | 优先沿用官方分词方案 | 不要自行混用分词器,遵循官方接口、调用约定和鉴权流程 |
选型没有绝对优劣,关键看约束条件。如果任务强调可解释性和规则控制,词级更直观;如果任务强调通用语言理解和大规模训练,子词级通常更务实;如果输入极其开放且不能丢失字符信息,字符级或字节级更稳妥。
九、迁移和使用时要注意什么?
切换分词方案不是简单替换一个函数,它会影响训练、推理、部署、成本和稳定性。迁移前应重点检查以下内容。
1. 训练与推理一致性
分词器必须严格一致。训练时使用词级,推理时使用子词,或者训练版本和上线版本不一致,都会导致输入分布错位。
2. 词表与嵌入层对齐
更换分词粒度通常意味着词表、嵌入层、输出层都要重新构建。尤其是子词级切分,词表变化会影响模型参数和迁移成本,需要提前评估。
3. 序列长度预算
粒度变细会拉长序列。迁移前要统计同一语料下的平均 token 数、最大 token 数、超过上下文窗口的比例,以及推理吞吐和显存变化。
4. 中文与垂直领域适配
如果迁移到中文或专业领域,需要在目标语料上重新验证切分质量。重点检查专业术语、缩略语、型号名、法规条款、药品名、代码符号等是否被过度切碎。
5. 接口与流程兼容
涉及模型或服务切换时,要评估接口参数、权限、鉴权、限流、日志和调用流程是否兼容。建议先在非生产环境验证,再逐步放量。
6. 回滚与监控
保留旧分词方案或回退路径。监控切分异常、未知 token 比例、平均长度突增、接口错误率变化等指标,确保切换过程可控。
迁移检查表如下:
| 检查项 | 检查内容 | 通过标准 |
|---|---|---|
| 语言与语料 | 是否覆盖目标语言、术语、标点和符号 | 抽样切分符合业务预期 |
| OOV 风险 | 新词、专名、缩写是否过多 | 关键实体不丢失或可控回退 |
| token 长度分布 | 平均长度、最大长度、超长比例 | 不超上下文,成本可接受 |
| 词表大小 | 词表是否过大或过小 | 低频占比合理,参数压力可控 |
| 训练推理一致性 | 是否使用同一分词器和版本 | 无版本或配置差异 |
| 性能影响 | 吞吐、延迟、显存变化 | 满足线上容量要求 |
| 回滚方案 | 是否保留旧方案 | 异常时可快速切换 |
十、总结
token 的本质不是天然的“一个词”,也不是天然的“一个字”,而是分词器根据词表、算法和训练语料切出的模型输入单元。词级、字符级、子词级的差异,根源在于它们在词表规模、未登录词处理、序列长度、中文适配和语义完整性上做出了不同取舍。
词级重语义,字符级重覆盖,子词级重平衡。实际选型时,应结合文本语言、任务目标、成本约束、中文适配和既有技术栈综合判断。切换分词方案时,尤其要关注训练推理一致性、词表嵌入对齐、序列长度预算、回滚能力和监控机制,从而做出可落地、可验证、可长期维护的决策。

登录后可评论,请前往 登录 或 注册