MoE共享专家与路由专家:共性知识的分工与选型对比
作者:问答酱2026.11.16 11:21浏览量:0简介:本文对比MoE架构中的共享专家(shared expert)与路由专家(routed expert),解析共享专家承载的"共性知识(common knowledge)"究竟是什么、为何无法被路由专家替代。借助一个"删除共享专家"的消融实验,说明二者在架构设计、知识分工、参数效率上的核心差异,并给出不同场景下的选型判断与迁移注意事项,帮助读者理解细粒度MoE的设计取舍。
一、对比背景:为什么共享专家值得单独讨论
在专家混合(MoE,Mixture of Experts)架构中,模型不再是单一前馈网络,而是由多个”专家”子网络组成,再由一个路由器(router)决定每个 token 激活哪些专家。这种设计能在总算力相对可控的前提下,显著扩展模型的参数规模与知识容量。
但随着专家数量增多,一个绕不开的问题浮现:大量 token 之间其实共享着一些”通用能力”——基础语法、常识、通用语义等。如果让所有专家各自去学这些共性内容,既浪费参数,又会让不同专家的行为彼此割裂、互相打架。共享专家(shared expert)正是为应对这一问题被单独设计出来的一组特殊专家。理解它与普通路由专家(routed expert)的差异,是理解现代细粒度 MoE 架构的关键,也是本文对比的核心。
二、对象定义:两类专家各自在做什么
路由专家(routed expert)
每个 token 进入 MoE 层后,先由路由器对其打分,得分最高的若干个专家被选中并激活,只有被命中的专家才参与计算,其余专家对该 token 保持”沉默”。因此每个 token 只经过少数几个专家,实现了稀疏激活与算力节约。
共享专家(shared expert)
共享专家不参与路由器的打分竞争。无论路由器如何计算,每个 token 都会被确定性地、无条件地送入共享专家。它不追求”专”,而是承担”通”——即所有 token 都需要的基础共性能力。
放到公式上,一个细粒度 MoE 层的输出可写为:
h_t = Σ(i=1..K_s) FFN_i(u_t) # 共享专家,无门控,无条件全加+ Σ(i=K_s+1..m) g_{i,t} · FFN_i(u_t) # 路由专家,带门控权重+ u_t # 残差
- 第一项是
K_s个共享专家,前面没有门控系数,意味着无条件全部参与,雷打不动; - 第二项是路由专家,每个都带门控权重
g_{i,t},只有被路由命中的专家权重才非零; - 最后的
u_t是残差连接。
一句话概括:共享专家每次都算,路由专家按需点名。
三、相同点:它们是同一层里的两种角色
在展开差异之前,需要先厘清二者的共同点,避免误解为两套割裂的机制:
- 同处一层、同属前馈结构:共享专家与路由专家在结构上都是前馈网络(FFN),并列在同一个 MoE 层内,共同对输入 token 做变换。
- 目标一致:两者都是为了在有限算力下提升模型的表达能力与知识容量,是稀疏化建模的协作方,而非竞争关系。
- 输出方式相同:无论共享还是路由,最终都会把各自的计算结果加权/累加后与残差相加,统一产出该层输出。
- 可自由配比:共享专家与路由专家的数量、宽度、比例都是可调的超参数,不同方案会给出不同的组合。
换句话说,它们不是”要不要”的对立选项,而是”如何分工”的组合设计。真正值得对比的,是二者在知识承载上的本质差异。
四、核心差异:共享专家承载的”共性知识”到底是什么
4.1 一个消融实验泄露了答案
回答”共性知识是什么”,与其翻定义,不如看它缺席之后模型坏成什么样。在原始材料中提到的一组消融实验里:研究者保持算力规模不变,仅仅把那个始终激活的共享专家拿掉,换成多激活一个普通的路由专家。结果在某一公开英文语料基准上,语言建模 loss 从 1.808 直接升到 2.414,约 0.6 的差距在语言建模里是相当夸张的退化。
这说明:被拿掉的那个共享专家身上,扛着一些路由专家无法替代的东西——这正是问题所指的”共性知识(common knowledge)”。
4.2 共性知识的具体内涵
结合 MoE 的通用设计逻辑,共享专家承载的共性知识通常包括:
- 通用语言能力:基础语法、常见句式、通用词汇搭配等几乎所有 token 都用得上的底座能力;
- 跨领域的基础常识:不专属于某个垂直领域、却被广泛 token 依赖的背景知识;
- 稳定且高频的模式:路由专家负责”专精且长尾”的知识,而共享专家负责”通用且高频”的知识。
正因为它对所有 token 都参与,这部分知识只需要在参数里”存一份”,不必在每个路由专家里各存一遍。
4.3 与路由专家的四点本质差异
| 对比维度 | 共享专家(shared expert) | 路由专家(routed expert) |
|---|---|---|
| 激活方式 | 每个 token 无条件、确定性激活 | 由路由器打分,仅命中的少数激活 |
| 门控系数 | 无门控,直接累加 | 带门控权重,未命中者权重为零 |
| 承载知识 | 通用、高频、跨领域共性知识 | 专精、长尾、领域差异化知识 |
| 参数效率 | 共性知识只存一份,减少冗余 | 需在各专家中重复学习共性,易冗余 |
4.4 共享专家要解决传统 MoE 的两个老毛病
以早期经典 MoE 方案为代表的传统设计,存在两个典型问题,恰好对应共享专家的价值:
- 知识混杂:专家数量偏少,单个专家被迫塞进各种互不相关的知识,使用时相互干扰、彼此打架;
- 知识冗余:被路由到不同专家的 token 往往也需要同一批共性知识,导致多个专家在各自参数里重复学习相似内容,造成参数浪费。原始材料对此的表述是——分配给不同专家的 token 可能需要共同知识,于是多个专家会在各自参数中趋同地获取这些共享知识,进而带来专家参数的冗余。
共享专家的引入,等于把”共性知识”从路由专家中”剥离”出来单独存放:路由专家得以更专注地学习差异化知识(缓解知识混杂),共性知识也无需在每个专家里重复(缓解知识冗余)。
五、典型场景选择
- 参数规模大、专家数量多、追求参数效率的场景:更适合采用”共享专家 + 细粒度路由专家”的组合,让共性知识集中存放,降低冗余。
- 知识高度专精、各专家分工极度清晰的场景:路由专家承担主要表达,共享专家的收益相对有限,可根据实测收益决定是否保留。
- 算力受限、需要稀疏激活控制的推理场景:需注意共享专家是”每个 token 都算”,会增加每 token 的固定激活成本,需与路由激活预算一起纳入总算力规划。
- 快速原型或小规模实验:可先只用路由专家搭建基线,再逐步引入共享专家做 A/B 对比,量化其带来的 loss 与参数收益。
六、选型建议(条件化,不做绝对推荐)
- 若目标是提升参数利用率、抑制知识冗余,且模型专家数量较多,可优先考虑引入共享专家,并在训练中观察其对共性能力的贡献。
- 若关注点是极致稀疏的激活效率,需评估共享专家带来的固定开销,权衡”少而稳的共性能力”与”每次都要算”的算力代价。
- 若采用托管化的训练/推理平台(如常见的容器平台、分布式训练框架、日志服务与监控告警等通用能力),可据此评估不同 MoE 配置的资源需求与运维复杂度,再做取舍。
- 关键原则是:以自身语料与任务上的消融对比为准,而非照搬他人配置。
七、迁移与使用注意事项
从”无共享专家”迁移到”含共享专家”的细粒度 MoE,或调整二者比例时,需重点关注:
- 算力预算重算:共享专家无条件激活,会直接抬高每 token 的基准计算量,迁移前要重新核算吞吐与延迟预算。
- 超参数联调:共享专家数量、宽度、路由专家的激活个数(Top-K)需要联合调参,单改一项可能带来不稳定。
- 负载均衡监控:路由专家的负载不均衡是 MoE 常见问题,需配套监控与告警,避免个别专家过载或空转。
- 训练稳定性:新增共享分支会改变梯度分布,建议小步验证收敛与 loss 曲线,保留可回滚的基线配置。
- 兼容性评估:切换架构会影响权重格式与推理图结构,需确认推理框架、量化流程与部署管线的兼容性。
八、总结
共享专家与路由专家并非二选一,而是同一 MoE 层内”通用”与”专精”的分工。共性知识,本质是那批所有 token 都反复依赖的基础语言与常识能力;把它隔离成无条件激活的共享专家,可以让路由专家更专注长尾专精、避免参数冗余。是否引入共享专家、如何配比,应结合专家规模、参数效率目标与算力预算,以自身语料上的消融实验结论为准,而非绝对化的经验判断。

登录后可评论,请前往 登录 或 注册