logo

MoE共享专家与路由专家:共性知识的分工与选型对比

作者:问答酱2026.11.16 11:21浏览量:0

简介:本文对比MoE架构中的共享专家(shared expert)与路由专家(routed expert),解析共享专家承载的"共性知识(common knowledge)"究竟是什么、为何无法被路由专家替代。借助一个"删除共享专家"的消融实验,说明二者在架构设计、知识分工、参数效率上的核心差异,并给出不同场景下的选型判断与迁移注意事项,帮助读者理解细粒度MoE的设计取舍。

一、对比背景:为什么共享专家值得单独讨论

在专家混合(MoE,Mixture of Experts)架构中,模型不再是单一前馈网络,而是由多个”专家”子网络组成,再由一个路由器(router)决定每个 token 激活哪些专家。这种设计能在总算力相对可控的前提下,显著扩展模型的参数规模与知识容量。

但随着专家数量增多,一个绕不开的问题浮现:大量 token 之间其实共享着一些”通用能力”——基础语法、常识、通用语义等。如果让所有专家各自去学这些共性内容,既浪费参数,又会让不同专家的行为彼此割裂、互相打架。共享专家(shared expert)正是为应对这一问题被单独设计出来的一组特殊专家。理解它与普通路由专家(routed expert)的差异,是理解现代细粒度 MoE 架构的关键,也是本文对比的核心。

二、对象定义:两类专家各自在做什么

路由专家(routed expert)
每个 token 进入 MoE 层后,先由路由器对其打分,得分最高的若干个专家被选中并激活,只有被命中的专家才参与计算,其余专家对该 token 保持”沉默”。因此每个 token 只经过少数几个专家,实现了稀疏激活与算力节约。

共享专家(shared expert)
共享专家不参与路由器的打分竞争。无论路由器如何计算,每个 token 都会被确定性地、无条件地送入共享专家。它不追求”专”,而是承担”通”——即所有 token 都需要的基础共性能力。

放到公式上,一个细粒度 MoE 层的输出可写为:

  1. h_t = Σ(i=1..K_s) FFN_i(u_t) # 共享专家,无门控,无条件全加
  2. + Σ(i=K_s+1..m) g_{i,t} · FFN_i(u_t) # 路由专家,带门控权重
  3. + u_t # 残差
  • 第一项是 K_s 个共享专家,前面没有门控系数,意味着无条件全部参与,雷打不动;
  • 第二项是路由专家,每个都带门控权重 g_{i,t},只有被路由命中的专家权重才非零;
  • 最后的 u_t 是残差连接。

一句话概括:共享专家每次都算,路由专家按需点名。

三、相同点:它们是同一层里的两种角色

在展开差异之前,需要先厘清二者的共同点,避免误解为两套割裂的机制:

  1. 同处一层、同属前馈结构:共享专家与路由专家在结构上都是前馈网络(FFN),并列在同一个 MoE 层内,共同对输入 token 做变换。
  2. 目标一致:两者都是为了在有限算力下提升模型的表达能力与知识容量,是稀疏化建模的协作方,而非竞争关系。
  3. 输出方式相同:无论共享还是路由,最终都会把各自的计算结果加权/累加后与残差相加,统一产出该层输出。
  4. 可自由配比:共享专家与路由专家的数量、宽度、比例都是可调的超参数,不同方案会给出不同的组合。

换句话说,它们不是”要不要”的对立选项,而是”如何分工”的组合设计。真正值得对比的,是二者在知识承载上的本质差异。

四、核心差异:共享专家承载的”共性知识”到底是什么

4.1 一个消融实验泄露了答案

回答”共性知识是什么”,与其翻定义,不如看它缺席之后模型坏成什么样。在原始材料中提到的一组消融实验里:研究者保持算力规模不变,仅仅把那个始终激活的共享专家拿掉,换成多激活一个普通的路由专家。结果在某一公开英文语料基准上,语言建模 loss 从 1.808 直接升到 2.414,约 0.6 的差距在语言建模里是相当夸张的退化。

这说明:被拿掉的那个共享专家身上,扛着一些路由专家无法替代的东西——这正是问题所指的”共性知识(common knowledge)”。

4.2 共性知识的具体内涵

结合 MoE 的通用设计逻辑,共享专家承载的共性知识通常包括:

  • 通用语言能力:基础语法、常见句式、通用词汇搭配等几乎所有 token 都用得上的底座能力;
  • 跨领域的基础常识:不专属于某个垂直领域、却被广泛 token 依赖的背景知识;
  • 稳定且高频的模式:路由专家负责”专精且长尾”的知识,而共享专家负责”通用且高频”的知识。

正因为它对所有 token 都参与,这部分知识只需要在参数里”存一份”,不必在每个路由专家里各存一遍。

4.3 与路由专家的四点本质差异

对比维度 共享专家(shared expert) 路由专家(routed expert)
激活方式 每个 token 无条件、确定性激活 由路由器打分,仅命中的少数激活
门控系数 无门控,直接累加 带门控权重,未命中者权重为零
承载知识 通用、高频、跨领域共性知识 专精、长尾、领域差异化知识
参数效率 共性知识只存一份,减少冗余 需在各专家中重复学习共性,易冗余

4.4 共享专家要解决传统 MoE 的两个老毛病

以早期经典 MoE 方案为代表的传统设计,存在两个典型问题,恰好对应共享专家的价值:

  1. 知识混杂:专家数量偏少,单个专家被迫塞进各种互不相关的知识,使用时相互干扰、彼此打架;
  2. 知识冗余:被路由到不同专家的 token 往往也需要同一批共性知识,导致多个专家在各自参数里重复学习相似内容,造成参数浪费。原始材料对此的表述是——分配给不同专家的 token 可能需要共同知识,于是多个专家会在各自参数中趋同地获取这些共享知识,进而带来专家参数的冗余。

共享专家的引入,等于把”共性知识”从路由专家中”剥离”出来单独存放:路由专家得以更专注地学习差异化知识(缓解知识混杂),共性知识也无需在每个专家里重复(缓解知识冗余)。

五、典型场景选择

  • 参数规模大、专家数量多、追求参数效率的场景:更适合采用”共享专家 + 细粒度路由专家”的组合,让共性知识集中存放,降低冗余。
  • 知识高度专精、各专家分工极度清晰的场景:路由专家承担主要表达,共享专家的收益相对有限,可根据实测收益决定是否保留。
  • 算力受限、需要稀疏激活控制的推理场景:需注意共享专家是”每个 token 都算”,会增加每 token 的固定激活成本,需与路由激活预算一起纳入总算力规划。
  • 快速原型或小规模实验:可先只用路由专家搭建基线,再逐步引入共享专家做 A/B 对比,量化其带来的 loss 与参数收益。

六、选型建议(条件化,不做绝对推荐)

  • 若目标是提升参数利用率、抑制知识冗余,且模型专家数量较多,可优先考虑引入共享专家,并在训练中观察其对共性能力的贡献。
  • 若关注点是极致稀疏的激活效率,需评估共享专家带来的固定开销,权衡”少而稳的共性能力”与”每次都要算”的算力代价。
  • 若采用托管化的训练/推理平台(如常见的容器平台、分布式训练框架、日志服务与监控告警等通用能力),可据此评估不同 MoE 配置的资源需求与运维复杂度,再做取舍。
  • 关键原则是:以自身语料与任务上的消融对比为准,而非照搬他人配置。

七、迁移与使用注意事项

从”无共享专家”迁移到”含共享专家”的细粒度 MoE,或调整二者比例时,需重点关注:

  1. 算力预算重算:共享专家无条件激活,会直接抬高每 token 的基准计算量,迁移前要重新核算吞吐与延迟预算。
  2. 超参数联调:共享专家数量、宽度、路由专家的激活个数(Top-K)需要联合调参,单改一项可能带来不稳定。
  3. 负载均衡监控:路由专家的负载不均衡是 MoE 常见问题,需配套监控与告警,避免个别专家过载或空转。
  4. 训练稳定性:新增共享分支会改变梯度分布,建议小步验证收敛与 loss 曲线,保留可回滚的基线配置。
  5. 兼容性评估:切换架构会影响权重格式与推理图结构,需确认推理框架、量化流程与部署管线的兼容性。

八、总结

共享专家与路由专家并非二选一,而是同一 MoE 层内”通用”与”专精”的分工。共性知识,本质是那批所有 token 都反复依赖的基础语言与常识能力;把它隔离成无条件激活的共享专家,可以让路由专家更专注长尾专精、避免参数冗余。是否引入共享专家、如何配比,应结合专家规模、参数效率目标与算力预算,以自身语料上的消融实验结论为准,而非绝对化的经验判断。

发表评论

活动