logo

MoE中Token级路由与句子级路由对比解析

作者:KAKAKA2026.11.16 11:22浏览量:1

简介:本文围绕混合专家模型中的两种路由方式展开对比:将每个Token独立分配给专家,或将整句文本统一交给一个或多个专家。文章从表达能力、负载均衡、计算通信、训练稳定性、中文分词影响、工程实现和适用场景等方面分析差异,并给出模型设计与系统落地时的选型建议。

一、问题背景:为什么通常按Token选择专家

混合专家模型(Mixture of Experts,MoE)的核心思想,是在一个较大的专家集合中,根据输入内容动态激活少量专家。模型并不让所有参数在每次计算中都参与,而是通过路由器决定“当前输入应该经过哪些专家”。

围绕路由粒度,常见有两种思路:

  • Token级路由:每个Token独立选择一个或多个专家;
  • 句子级路由:先对整句或整段文本进行判断,再将其整体分配给某个专家组合。

直观来看,句子级路由似乎更简单:同一个句子只需要做一次决策,数据组织、通信和缓存管理都更容易。Token级路由则需要对大量Token分别计算路由结果,可能产生更多的数据重排和跨设备通信。

但在通用语言模型中,Token级路由通常更具优势。原因并不是“粒度越细越先进”,而是语言信息本身具有高度的局部性:同一个句子中可能同时包含自然语言、数学表达式、代码片段、实体名称、结构化字段和多语言内容。让整句只能使用一组专家,往往会损失这种细粒度的表达能力。


二、两种路由方式分别是什么

1. Token级路由

Token级路由将输入序列表示为:

[
X=[x_1,x_2,\ldots,x_T]
]

其中每个 (x_i) 是一个Token。路由器会为每个Token计算专家得分:

[
p_i=\text{softmax}(W_r x_i)
]

随后选择得分最高的前 (k) 个专家,并将该Token发送给这些专家处理。专家输出再按照路由权重加权汇总:

[
yi=\sum{j\in TopK(pi)}p{ij}E_j(x_i)
]

这里的关键是:(xi) 和 (x{i+1}) 可以选择完全不同的专家。

2. 句子级路由

句子级路由通常先将整句表示压缩为一个全局向量,例如使用池化结果或特殊位置的隐藏状态:

[
s=\text{Pool}(X)
]

再依据句子级表示选择专家:

[
p=\text{softmax}(W_r s)
]

整句中的所有Token共享同一组专家,或者使用同一个专家组合完成后续计算。

这种方式保留了更强的全局一致性,系统实现也更直接,但它牺牲了Token之间的独立选择能力。


三、两者的共同点

尽管路由粒度不同,两种方案仍然有几个共同基础。

1. 都依赖门控网络

两者都需要一个路由器或门控网络,用于计算输入与专家之间的匹配关系。路由器通常是一个轻量的线性层或小型神经网络,不负责完整语义理解,而是估计哪些专家更适合当前输入。

2. 都采用稀疏激活

无论按句子还是按Token路由,目标都是只激活少数专家。这样可以在扩大总参数规模的同时,控制单次计算量。

3. 都需要解决负载均衡

如果路由器长期偏向少数专家,就会出现专家拥塞,而其他专家处于空闲状态。严重时可能导致:

  • 部分专家超过容量上限;
  • Token被丢弃或回退到共享路径;
  • GPU或其他计算设备负载不均;
  • 训练梯度集中在少数专家;
  • 整体吞吐下降。

因此,两种路由方式都需要辅助负载均衡损失、容量限制、噪声门控或动态调度机制。


四、核心差异一:表达能力

这是Token级路由最重要的优势。

一个句子不一定只表达一种语义。例如:

请计算积分结果,并将结论写入配置字段。

其中“计算积分”更偏向数学推理,“配置字段”更偏向结构化文本或程序处理。如果使用句子级路由,整句通常只能被分配给一组统一专家;而Token级路由可以让不同部分分别调用更合适的专家。

从组合数量看,假设有 (N) 个专家,每个Token激活 (K) 个专家,那么单个Token的专家组合数量约为:

[
C(N,K)
]

对于长度为 (T) 的序列,Token级路由理论上可以形成:

[
C(N,K)^T
]

种专家组合。句子级路由则通常只有:

[
C(N,K)
]

种组合。

这并不意味着模型真的会遍历所有组合,也不能直接将组合数量等同于实际能力,但它说明了两者在条件计算自由度上的差异:Token级路由允许模型针对局部内容进行更精细的参数选择。


五、核心差异二:专家特化方式

Token级路由更容易形成细粒度专家分工,例如:

  • 某些专家更擅长语法结构;
  • 某些专家更擅长数字和计算;
  • 某些专家更擅长代码格式;
  • 某些专家更擅长长距离依赖;
  • 某些专家更适合特定语言或文本风格。

需要注意的是,专家通常不是人工预先指定职责,而是在训练过程中逐步形成特化。路由器根据输入特征将Token分配给不同专家,专家在反复接收相似类型的Token后,逐渐建立偏向。

句子级路由也可以形成专家分工,例如让某个专家处理技术文本,另一个专家处理对话文本。但它更容易形成“按文档类别分工”,难以捕捉句子内部的混合结构。

因此:

  • 需要处理纯粹、风格稳定的长文档时,句子级路由可能足够;
  • 需要处理复杂、多类型混合内容时,Token级路由更有优势。

六、核心差异三:负载均衡难度

Token级路由虽然表达能力强,但工程难度更高。

假设一个批次中有大量Token都被路由到同一个专家,该专家就会成为瓶颈。为此通常需要设置专家容量:

[
Capacity = \left\lceil \frac{T \times K}{N}\times c \right\rceil
]

其中 (c) 是容量因子。当某个专家收到的Token超过容量时,系统可以选择:

  1. 丢弃超出容量的Token;
  2. 将Token发送给次优专家;
  3. 让Token走共享专家或残差路径;
  4. 动态扩大该专家的临时容量。

句子级路由的负载管理相对简单,因为路由单位数量更少,且每个单位包含完整句子。但它也有隐患:句子长度可能差异很大。一个短句和一个超长段落都被视为一个路由单位,会导致实际计算量严重不均衡。

所以,句子级路由减少了路由决策数量,却不一定真正解决负载均衡问题。


七、核心差异四:通信与计算开销

Token级路由的开销

Token级路由通常需要经历以下步骤:

  1. 计算每个Token的路由分数;
  2. 选择目标专家;
  3. 按专家重新排列Token;
  4. 将Token发送到对应设备;
  5. 专家计算;
  6. 将结果重新排列回原序列。

在多设备训练中,这往往需要全互联式的数据交换。若设备间网络带宽不足,通信时间可能成为主要瓶颈。

句子级路由的开销

句子级路由的数据组织更简单,整句通常可以作为一个整体发送,减少了Token级别的重排次数。不过,它存在两个问题:

  • 句子长度不均会造成设备工作量不均;
  • 整句统一处理可能让专家执行大量“不擅长”的Token计算。

因此,不能简单认为句子级路由一定更快。实际性能取决于序列长度分布、专家数量、设备拓扑、批处理方式、通信带宽和容量策略。


八、中文与多语言场景中的特殊问题

Token并不等同于“一个汉字”或“一个单词”。具体切分结果由分词算法、词表规模和训练语料共同决定。

英文文本可能按照词片段切分,一个单词被拆成多个Token;中文文本则可能出现单字、词片段、标点和混合字符并存的情况。代码、数字、表情符号和少数语言文本也可能被切分成不同长度的Token。

这会影响MoE路由:

  • 同一个词可能被多个专家分别处理;
  • 一个语义单元可能跨越多个Token;
  • 中英文混排时,专家负载可能出现偏斜;
  • 特殊符号和数字可能集中进入少数专家;
  • 不同语言的Token平均长度不同,影响容量估算。

因此,Token级路由并不是完全独立于句子语义。模型通常需要依靠上下文表示,让每个Token在局部决策中获得足够的全局信息。工程上还应针对多语言数据单独检查专家利用率,而不能只看总体平均值。


九、为什么不直接把整句交给一个专家

主要原因可以归纳为四点。

1. 句子内部语义并不单一

真实输入经常包含多种任务和表达形式。整句路由会迫使所有Token共享一套专家资源。

2. 序列长度差异会放大负载问题

短句和长句作为同一个路由单位时,设备之间容易出现明显的计算不平衡。

3. 专家特化粒度受限

句子级路由更适合粗粒度分类,而通用语言模型需要同时学习词法、句法、事实、推理和格式等多类模式。

4. 训练数据不一定按句子边界组织

实际训练通常以固定长度序列组成批次,多个文档可能被拼接到一个序列中。此时“整句”甚至可能不是稳定、统一的计算单位,Token级路由更容易适配这种训练形式。


十、Token级路由的典型实现流程

可以用如下伪代码表示基本逻辑:

  1. def sparse_moe(tokens, router, experts, top_k):
  2. scores = router(tokens)
  3. selected_ids, selected_weights = top_k_select(scores, top_k)
  4. dispatched = dispatch_by_expert(
  5. tokens,
  6. selected_ids,
  7. capacity_limit=True
  8. )
  9. expert_outputs = []
  10. for expert_id, expert_tokens in dispatched.items():
  11. output = experts[expert_id](expert_tokens)
  12. expert_outputs.append(output)
  13. result = combine_to_original_order(
  14. expert_outputs,
  15. selected_ids,
  16. selected_weights
  17. )
  18. return result

生产环境中还需要补充:

  • 专家容量控制;
  • 溢出Token处理;
  • 辅助负载均衡损失;
  • 路由噪声;
  • 混合精度计算;
  • 跨设备通信;
  • 动态批处理;
  • 监控专家利用率;
  • 故障设备隔离与恢复。

十一、两种方案的对比表

对比维度 Token级路由 句子级路由
路由单位 单个Token 整句或整段
表达灵活性 高,可针对局部内容选择专家 较低,整句共享专家组合
专家特化 更细粒度 更偏向文档或任务类别
负载均衡 难度较高,容易出现热门专家 管理简单,但受句长影响
通信复杂度 较高,需要Token重排和聚合 相对较低
序列长度适应性 较好 可能出现长短句不均
训练实现难度 较高 相对简单
适合场景 通用语言模型、混合任务、多语言内容 文档分类、稳定模板、粗粒度任务
主要风险 通信开销、专家拥塞、Token溢出 表达能力受限、句内信息混合

十二、如何选择

更适合Token级路由的情况

如果模型具备以下特征,优先考虑Token级方案:

  • 输入内容类型复杂;
  • 一个序列中可能混合多种任务;
  • 需要较强的通用生成能力;
  • 希望专家形成细粒度能力分工;
  • 训练规模较大,能够承担分布式通信成本;
  • 已经具备完善的负载监控和容量控制机制。

更适合句子级路由的情况

以下场景可以考虑句子级或段落级方案:

  • 输入文本类别比较稳定;
  • 任务主要是分类、匹配或检索;
  • 句子长度差异较小;
  • 系统更关注简单部署和低通信开销;
  • 专家职责本身就是按领域或文档类型划分;
  • 训练资源有限,需要降低实现复杂度。

此外,也可以采用折中设计,例如先进行段落级粗路由,再在段落内部进行Token级细路由。这样能够在一定程度上减少候选专家数量,同时保留局部表达能力。


十三、工程落地时需要重点关注的问题

1. 专家塌缩

如果大量Token长期集中到少数专家,说明路由器学习出现偏斜。可以通过均衡损失、路由噪声、专家容量限制和更合理的初始化进行缓解。

2. 梯度不稳定

稀疏路由会使部分专家接收的Token数量波动较大,导致梯度方差增加。应监控不同专家的激活次数、梯度范数和溢出比例。

3. 通信成为瓶颈

当专家分布在不同设备上时,数据交换可能超过专家计算本身的耗时。需要结合设备拓扑、批次组织、通信融合和数据布局进行优化。

4. 推理阶段的内存压力

推理时虽然每个Token只激活少数专家,但模型总专家数仍然可能很大。应提前评估专家驻留内存、按需加载、缓存策略和并发请求下的容量需求。

5. 不能只看平均利用率

平均专家利用率正常,并不代表系统没有问题。还应观察:

  • 最大与最小专家负载差;
  • Token溢出比例;
  • 各设备通信量;
  • 单步路由延迟;
  • 不同语言和任务的专家分布;
  • 长序列与短序列的性能差异。

十四、总结

Token级路由与句子级路由的本质差异,在于“专家选择的自由度”和“系统实现复杂度”之间的权衡。

句子级路由更简单,通信和调度更容易控制,适合输入类型稳定、专家职责粗粒度明确的场景。但它会让整句共享专家资源,难以处理句内多种语义混合的问题。

Token级路由可以根据局部内容动态组合专家,具有更强的表达能力和更细的专家特化空间,因此更适合通用语言生成与复杂多任务场景。它的代价是负载均衡、容量控制、跨设备通信和推理内存管理更加困难。

所以,“为什么不把一个句子都放进一个专家”的答案并不是句子级方案没有价值,而是对于通用语言模型而言,句子内部的信息通常不够单一。将路由粒度细化到Token,能够在可控计算量下获得更灵活的条件参数化能力。最终选型应结合任务类型、序列长度、设备网络、工程团队能力和成本目标综合判断,而不是只依据路由粒度本身做绝对结论。

发表评论

活动