共享专家与路由专家:MoE架构中的两类专家对比
作者:菠萝爱吃肉2026.11.16 11:20浏览量:1简介:本文对比混合专家(MoE)架构中的"共享专家"与"路由专家"两类核心组件,从激活机制、门控方式、承载知识、算力配置等维度剖析差异,并结合消融实验说明共享专家所承载"通用知识"的不可替代性。读者可据此理解两类专家的分工逻辑,明确各自的适用边界,为模型架构设计与选型提供条件化参考。
一、为什么要把这两类专家放在一起对比
在混合专家(Mixture of Experts, MoE)架构里,”专家”这个词容易被误解成一堆地位平等、靠竞争取胜的子网络。但在一类精细化的 MoE 设计中,专家实际上被拆成了功能定位完全不同的两类:共享专家(shared expert) 和 路由专家(routed expert)。理解这两者有什么区别、各自解决什么问题,是看懂 MoE 设计取舍的关键。本文就以这两类专家为对比对象,逐层展开。
二、对比对象的定义
路由专家(routed expert):数量较多,由路由器(router)对每个 token 打分,命中得分最高的前若干个(Top-K)才会被激活。它是”按需点名”的,不同 token 走不同的专家,起到知识分工和参数稀疏化的作用。
共享专家(shared expert):数量很少(通常只有一两个),不参与路由打分。无论路由器怎么计算,每个 token 都会确定性地经过它。它是”雷打不动每次都算”的。
三、它们的相同点
抛开激活方式的差异,两类专家在技术本质上有几个共通之处:
- 基础结构相同:二者通常都是完全相同的前馈网络(FFN)结构,参数量、隐藏维度等配置在同一层内往往一致,差别主要在”何时被调用”而非”长什么样”。
- 输出方式相同:二者的计算结果最终都会加权汇总到该层的输出上,和残差连接叠加,共同决定下一层的输入。
- 目标一致:都服务于同一个语言建模目标——让模型在给定上下文下更好地预测下一个 token。
四、核心差异分析
1. 激活机制:无条件 vs 有条件
这是最根本的差异。用公式表示,一个完整的 MoE 层输出可以写成:
h_t = Σ(i=1..Ks) FFN_i(u_t) # 共享专家:无门控系数,无条件全加+ Σ(i=Ks+1..Ks+m) g_{i,t} · FFN_i(u_t) # 路由专家:带门控权重 g_{i,t},未选中则为 0+ u_t # 残差连接
第一项的共享专家前面没有门控系数 g_{i,t},意味着每一个 token 都会被强制送进全部共享专家;第二项的路由专家则各自挂着一个门控权重,只有被路由器选中的那几个权重才非零。一句话概括:共享专家每次都算,路由专家按需点名。
2. 依赖关系:独立 vs 依赖路由器
共享专家的计算完全独立于路由器,路由器的输出对它没有任何影响。路由专家则完全依赖路由器:路由决策是否正确、负载是否均衡,直接决定了哪些专家被调用。这意味着路由专家系统天然多了一个”路由不稳定”的风险源,而共享专家不受此影响。
3. 承载的知识类型:通用 vs 专用
这是两类专家存在的核心意义。路由专家因为稀疏激活、数量众多,适合承接领域差异明显、彼此冲突的知识(如不同语言、不同专业领域),避免单个专家被塞进八竿子打不着的知识而互相打架。共享专家则稳定地承载所有 token 都用得上的通用知识(common knowledge)。
4. 算力与参数配置
共享专家因为对每个 token 都激活,算力开销是固定的、不可稀疏化的;路由专家的算力开销则随 Top-K 激活数量变化。在设计时需要权衡:共享专家越多,通用知识越充分,但固定算力开销越大;路由专家越多,知识越专门化,但越依赖路由质量。
五、”common knowledge”到底是什么:从消融实验看答案
要理解共享专家承载的通用知识,与其翻定义,不如看它缺席后模型会坏成什么样。
某主流开源 MoE 模型做过一个消融实验:把始终激活的共享专家拿掉,换成多激活一个普通路由专家,保持总算力几乎不变。结果在标准语言建模基准数据集上,语言建模损失从约 1.808 飙升到约 2.414。
零点六的损失差距,在语言建模里是相当夸张的退化。这个结果说明了一个关键事实:共享专家承载的通用知识,是路由专家即使增加数量、增加算力也难以替代的。
原因在于:路由专家的机制决定了它只服务被路由命中的 token,其知识天然带有”选择性”和”专用性”。而通用知识是所有 token 都需要的基础能力,它需要一条”每个 token 都稳定经过”的通路来承载。用路由专家去模仿这件事,会遇到两个问题:一是路由本身可能不稳定,二是把通用能力拆散到多个稀疏专家里,反而破坏了它的连续性和一致性。
六、关键差异对比表
| 对比维度 | 共享专家(Shared Expert) | 路由专家(Routed Expert) |
|---|---|---|
| 激活方式 | 每个 token 无条件激活 | 路由器打分后按 Top-K 选择性激活 |
| 是否参与路由 | 不参与 | 参与,依赖路由器 |
| 数量 | 少(通常 1~2 个) | 多 |
| 承载知识 | 通用/公共知识 | 领域专用、彼此差异大的知识 |
| 算力开销 | 固定,不可稀疏化 | 随激活数量变化,可稀疏化 |
| 稳定性 | 稳定,不受路由波动影响 | 受路由质量与负载均衡影响 |
| 不可替代性 | 高,消融实验中难以被路由专家替代 | 可被其他路由专家在数量上补偿 |
| 主要风险 | 占用固定算力 | 路由塌缩、负载不均 |
七、选型与设计考量
对于两类专家,不存在”哪个更好”的绝对判断,只有”配比是否合理”的条件化取舍:
- 当通用能力需求强、token 分布多样时,适当保留或增加共享专家,能为所有 token 提供稳定的公共能力底座。
- 当领域差异明显、需要细粒度知识分工时,增加路由专家数量、提升路由质量更有价值。
- 当算力预算紧张时,需要警惕共享专家的固定开销,因为它无法被稀疏化压缩。
- 当路由稳定性存疑时(例如出现负载塌缩、部分专家过载),共享专家提供了一条不受路由影响的稳定通路,是一种隐性的鲁棒性保障。
八、使用边界与注意事项
- 不要把两类专家当同类调参:调共享专家数量影响的是固定算力与通用能力,调路由专家影响的是知识分工与稀疏度,二者的调优目标不同。
- 关注路由负载均衡:路由专家若长期只有少数被激活,会带来算力浪费和知识利用率下降,需要配合负载均衡损失或容量因子等手段。
- 警惕”用路由专家替代共享专家”的误区:消融实验已表明,单纯增加路由专家算力并不能等效替代共享专家的通用知识承载作用。
- 算力账要算清:共享专家虽然数量少,但因无条件激活,其实际算力占用往往不低,容量规划时需单独核算。
九、总结
共享专家与路由专家,是 MoE 架构中”稳定通用”与”稀疏专用”两种设计哲学的具体落地。共享专家走的是无条件、全覆盖的通路,稳定承载所有 token 都需要的通用知识;路由专家走的是选择性、稀疏化的通路,负责领域差异化的专用知识。二者的差异不在结构,而在激活机制与知识定位。理解这一分工,并在算力预算、路由稳定性、通用能力需求之间做出条件化权衡,才是配置 MoE 架构的关键所在。

登录后可评论,请前往 登录 或 注册