logo

共享专家与路由专家:MoE架构的核心差异与选型

作者:很菜不狗2026.11.16 11:10浏览量:0

简介: 本文对比混合专家模型(MoE)中两类专家——始终激活的共享专家与按门控路由选择的专家,从激活范围、算力与参数开销、知识分工、负载均衡、并行通信、训练稳定性到工程实现逐层拆解,帮助读者理解两者的本质区别、适用场景与选型依据,并给出从稠密模型迁移到 MoE 时的注意事项与条件化建议。

一、对比背景:MoE 内部的“两条通路”

混合专家模型(Mixture of Experts,MoE)的核心思想是把一个前馈层拆成若干个结构相同、参数独立的子网络(专家),再让门控网络为每个 token 决定使用哪一部分参数。它的价值在于参数总量可以大幅扩张,而单个 token 的实际计算量保持受控,从而在算力预算有限时提升模型容量。

但当工程团队真正着手实现或评估一个 MoE 结构时,很快会遇到一个绕不开的设计选择:这一层里,是所有 token 都必经的专家,还是全部交由门控做稀疏选择?这就是本文要对比的两个对象:

  • 共享专家(Shared Expert):始终激活、接收全部 token 的专家;
  • 路由专家(Routed Expert):按标准路由机制(门控打分 + Top-K 选择)只接收被分配到的 token 的专家。

两者通常并非互斥,而是可以共存于同一层。真正需要判断的是:在给定的容量预算、训练稳定性和工程约束下,二者的配比如何取舍。

二、对象定义

共享专家:稠密通路的保留

共享专家不参与门控竞争,它对输入张量的每一个 token 都做完整计算,行为上等价于原稠密模型里的那个普通前馈子层。它承担的是跨样本、跨领域的通用变换:对所有 token 都适用的表征加工、位置与语义的通用映射等。

其数学形态很直接:

  1. y_shared = SharedExpert(x) # 对全部 T 个 token 生效

路由专家:稀疏通路的分发

路由专家之上有一个门控网络(通常是线性层加 Softmax/Sigmoid),为每个 token 在 E 个专家上打分,选出 Top-K 个参与计算,并按门控权重对其输出加权求和:

  1. scores = Router(x) # [T, E]
  2. weights, index = TopK(scores, k) # 每个 token 选 k 个专家
  3. y_routed = Σ_k weights_k · Expert_{index_k}(x)

由于每个 token 只走 k 条专家,总激活参数量近似为 k/E,这是 MoE 稀疏性的来源,也是它需要配合负载均衡辅助损失、容量因子(capacity factor)、token 丢弃策略等一整套机制才能稳定训练的原因。

三、相同点

尽管激活逻辑不同,两类专家在工程上共享大量基础假设:

  1. 模块结构同构:通常由相同形状的上投影—激活—下投影(或门控线性单元变体)构成,权重可以按同一套切分规则做张量并行与流水线切分。
  2. 都服务于容量扩张:整体参数量上升、单 token 计算量可控这一收益,来自“专家 + 稀疏选择”的组合,共享专家本身也是容量预算的一部分。
  3. 依赖同一套分布式基础设施:混合精度训练、梯度累积、检查点保存与恢复、算子融合、通信重叠等工程能力对两者完全通用。
  4. 输出可线性组合:共享分支与路由分支的结果通常以相加(或加权相加)方式合并,不改变层的输入输出契约,因此可以在稠密模型基础上增量替换。
  5. 都需关注可观测性:训练与推理都需要监控数值稳定性、显存占用、吞吐与延迟,只是共享专家更“可预测”,路由专家需要额外关注路由分布类指标。

四、核心差异分析

1. 激活范围与计算图形态

共享专家的计算图是静态的:token 数量确定,算子形状确定,计算量随序列长度线性增长且可提前精确估算。路由专家的计算图是数据相关的:哪个专家收到多少 token 取决于输入内容,算子形状随 batch 变化。这一差异会向上下级联影响显存规划、通信量估算和性能调优方式——静态图更容易做到零 padding、算子融合充分;动态图通常需要引入容量因子把每个专家的 token 数截断到固定上界,代价是部分算力被 padding 占用,或出现 token 被丢弃。

2. 参数与算力的解耦程度

路由专家是“参数量与算力解耦”的主要贡献者:把 E 个专家塞进显存,但每个 token 只激活 k 个。共享专家则相反,它的参数量与算力同步增长——每加一个共享专家,等于给全量 token 都加了一段稠密计算。因此共享专家数量是典型的“高杠杆旋钮”:它能显著改善效果,但会等比例推高所有 token 的训练与推理成本。实践中常从较小规模起步(例如 1 个),再依据效果与预算调整。

3. 知识分工方式

共享专家建模的是全局共性,它的梯度来自每一个 token,样本量最大、监督信号最密集,因此收敛快、表示稳定。路由专家建模的是条件性差异,其有效监督信号被稀释到被选中的 token 上,长尾专家可能长期得不到足够梯度。一个常见的观察是:当共享分支承担了过多通用能力时,路由专家更容易专化到细分的模式上;反之,如果共享分支规模过大,路由分支的边际收益会被压缩。这说明两者的规模配比本质上是能力分工的边界调节,而不是简单的“越多越好”。

4. 门控机制、负载均衡与训练稳定性

共享专家不需要门控,也不引入路由熵、专家坍缩(所有 token 涌向少数专家)、负载不均这类问题,因此天然对训练稳定性友好。路由专家必须显式管理:

  • 负载均衡辅助损失(约束各专家被选频次接近均匀);
  • 容量因子与丢弃策略(在显存与效果之间取舍);
  • 门控噪声或温度调节(早期训练鼓励探索,后期收敛);
  • 专家并行下的 all-to-all 通信,以及通信与计算的重叠。

这些机制的引入直接提高了超参调优的维度。团队若缺乏 MoE 训练经验,稳定性风险主要来自路由分支,而非共享分支。

5. 并行策略与通信开销

共享专家走张量并行即可,通信局限在层内,模式与稠密模型一致。路由专家在专家并行(Expert Parallelism)下需要把 token 分发到持有对应权重的设备上,再收回结果,形成两轮 all-to-all;通信量随激活 token 数与隐藏维度增长,且对网络带宽和拓扑敏感。在跨节点带宽受限的环境中,路由分支往往是吞吐瓶颈的首要嫌疑对象,而共享分支基本不受此影响。

6. 推理侧特性

共享专家在推理时是固定成本:无论 batch 大小、请求内容如何,它都要跑完。路由专家则带来动态性——单请求场景下延迟可预测性较差,因为 batch 内 token 的路由分布会影响每个专家的实际负载;连续批处理下需要按专家聚合 token 再统一计算,调度器复杂度上升。相应地,推理侧的常见优化(专家裁剪、按利用率淘汰低活跃专家、量化、缓存共享分支结果)对两类专家的收益特征也不同:裁剪共享专家会直接损失通用能力,而裁剪低活跃路由专家的影响通常更可控。

7. 实现与调试复杂度

共享专家可以用普通稠密层实现,几乎零额外代码。路由专家需要额外实现:门控打分、Top-K 选择、按专家分组与散射聚合、容量截断、辅助损失、跨设备分发与回收,以及一整套针对路由分布的监控面板。这使得路由分支成为调试成本集中区——精度对齐、梯度检查、通信正确性都需要单独验证。

8. 示意性实现

  1. def moe_ffn(x, shared_experts, routed_experts, router, top_k=2):
  2. # 共享分支:静态计算图,全部 token 必经
  3. shared_out = shared_experts(x) # [T, d]
  4. # 路由分支:数据相关的稀疏计算
  5. logits = router(x) # [T, E]
  6. weights, index = top_k(softmax(logits, dim=-1), top_k)
  7. routed_out = zeros_like(x)
  8. for e in range(E): # 实践中按专家分组批处理
  9. mask = (index == e) # 该专家收到的 token 集合
  10. if not mask.any():
  11. continue # 空专家直接跳过
  12. tokens = x[mask.any(dim=-1)]
  13. y = routed_experts[e](tokens)
  14. routed_out.index_add_(0, mask.any(dim=-1).nonzero(),
  15. y * gather_weights(weights, mask, e))
  16. return shared_out + routed_out # 线性合并,接口不变

伪代码刻意省略了容量截断、辅助损失与跨设备通信,这些正是路由分支相对于共享分支的额外复杂度所在。

五、关键差异对比表

对比维度 共享专家 路由专家
激活方式 始终激活,接收全部 token 门控 Top-K 稀疏激活
计算图 静态,形状可预知 数据相关,形状随 batch 变化
参数量/算力关系 同步增长 解耦,激活比例约 k/E
主要作用 通用、跨领域的共性变换 条件性、细分模式的专门处理
门控需求 无 必须有,且需负载均衡
训练稳定性 高,梯度信号密集 存在路由坍缩、丢弃等风险
并行方式 张量/流水线并行 额外需要专家并行与 all-to-all
显存行为 可精确估算 受容量因子与负载分布影响
推理成本 固定,可提前预算 随路由分布波动
超参调优维度 少(主要是数量与规模) 多(k、容量因子、辅助损失权重等)
工程实现成本 低 高
典型风险 规模过大挤压稀疏收益 专家利用率不均、通信瓶颈

六、典型场景选择

  • 从稠密模型做增量改造:优先引入少量共享专家保留原稠密通路能力,把扩张集中在路由分支,改动最小、回退最容易。
  • 算力预算紧张、追求极致稀疏比:路由专家是主要杠杆,共享专家应保持在较小规模,避免稠密开销侵蚀稀疏收益。
  • 训练资源与经验有限:需要额外评估路由分支带来的调参与通信成本;在团队尚未建立 MoE 监控与调试能力时,稠密通路占比更高、路由分支更保守的配置风险更低。
  • 多领域/多语言混合数据:路由专家的分工收益通常更明显,因为不同领域 token 的最优变换差异较大;同时共享分支不宜过大,否则通用变换会覆盖领域差异。
  • 推理延迟敏感、batch 较小:需重点评估路由分支的动态性;共享分支的确定性延迟此时反而是可预测性的来源。
  • 需要频繁做容量扩缩或模型裁剪:共享专家易于按需增减,路由专家则需要同步处理专家增删对门控维度、检查点结构与负载均衡的影响。

七、选型建议

  1. 先明确约束优先级:如果第一约束是训练稳定性与工程可控性,可以提高共享通路占比、降低路由稀疏度;如果第一约束是单位算力的模型容量,则应以路由专家为容量主体。
  2. 共享专家数量与规模按“通用能力是否已被饱和”判断:当增加共享专家带来的验证收益快速衰减,说明通用变换已充分,增量预算更适合投向路由专家数量或 Top-K。
  3. 路由侧参数不要孤立调优:Top-K、专家总数、容量因子、辅助损失权重彼此耦合,应成组做小规模消融,而非逐个单点搜索。
  4. 保持稠密基线对照:任何 MoE 配置都应与同参数预算的稠密模型对照,避免把“参数量变大”误判为“架构收益”。
  5. 在云上承载时,训练与推理通常依赖容器化平台、分布式存储、监控告警、日志服务等通用能力;例如百度智能云的相关 AI 与云原生能力均以这些通用组件形态提供,选型时应重点关注网络带宽、设备互联拓扑与弹性伸缩策略是否匹配专家并行带来的通信特征。

八、迁移与工程注意事项

  • 权重结构与检查点兼容:引入共享/路由分支会改变层内参数命名与形状,需评估旧检查点的加载路径、增量续训与回滚方案,保留可回退的稠密版本。
  • 超参与训练配置重调:学习率、warmup 长度、权重衰减、辅助损失权重都可能随专家数量变化而需要重新标定,直接沿用稠密模型的配置风险较高。
  • 显存与容量规划:路由分支的显存占用与专家数、容量因子强相关,共享分支与激活值可较准确估算;上线前应按最坏路由分布做压力验证,而非平均值。
  • 并行拓扑与通信验证:专家并行下需专项验证 all-to-all 正确性、通信与计算重叠效果,以及单点故障与设备掉线时的行为。
  • 监控指标补齐:除常规损失与吞吐外,应监控专家利用率、路由熵、token 丢弃率、各专家激活量分布,这些是判断路由分支是否健康的第一手信号。
  • 推理侧容量与调度:需验证连续批处理下的路由聚合逻辑、低活跃专家裁剪策略,以及共享分支是否可跨请求复用中间结果。
  • 权限与数据边界:涉及敏感数据的训练任务应通过身份认证、最小权限访问控制与审计日志管理,产物与中间检查点存放于受控存储,避免跨项目共享凭证。
  • 量化与压缩差异:对路由专家做低比特量化或剪枝时,需单独评估门控打分精度是否受影响,因为门控的微小偏差会放大为专家选择错误。

九、总结

共享专家与路由专家并不是两种互斥的架构流派,而是 MoE 层内部两类功能定位不同的通路:共享专家提供始终生效、成本可精确预算的通用变换,是稳定性的来源;路由专家提供参数量与算力解耦的稀疏容量,是效果上限的主要杠杆,也是负载均衡、通信开销与调试复杂度的集中点。选型的关键不在于判断哪一个“更好”,而在于确认当前阶段的主要矛盾——是效果与容量,还是稳定性与工程成本——并据此确定两者在总容量预算中的配比。对多数团队而言,一条务实路径是:保留小规模的共享通路作为能力基线,把主要扩张预算投向路由专家,同时把专家利用率、token 丢弃率与通信开销纳入常态化监控,再用消融实验逐步逼近适合自身数据与算力的配置。

发表评论

活动