logo

大模型MoE推理并行策略对比:TP与DP+EP怎么选

作者:php是最好的2026.11.16 11:08浏览量:0

简介:部署超大MoE模型时,加速卡数量往往不是决定因素,"卡与卡如何协同"才是性能关键。本文系统对比某主流开源推理框架中的四类并行策略——张量并行(TP)、流水线并行(PP)、数据并行(DP)与专家并行(EP),重点剖析 TP+EP 与 DP+EP 两种组合在架构、通信模式、并发适配上的本质差异,并结合单机多卡场景给出可落地的选型判断框架,帮助你在延迟敏感与高吞吐需求之间做出合理权衡。

一、对比背景:为什么并行策略会成为MoE部署的胜负手

部署超大 Mixture-of-Experts(MoE,混合专家)模型时,很多人第一反应是”我需要多少块加速卡”。但在实际工程中,真正决定服务表现的问题不是”有几块卡”,而是”这些卡怎么配合工作”。

同一套 8 卡硬件,选错并行策略会出现两类典型翻车:一是权重与 KV cache 被多份复制,显存直接被打爆;二是集合通信开销占据了大部分时间,吞吐被腰斩。反之,选对策略,在完全相同硬件上、针对具体业务场景,性能可以有非常明显的提升。

本文聚焦于某主流开源推理框架中实现的三类基础并行策略,以及一类专为 MoE 设计的”组合开关”,围绕单机(典型为 8 卡、通过高速片间互联总线通信)场景展开对比:

  • 张量并行(Tensor Parallelism,TP)
  • 流水线并行(Pipeline Parallelism,PP)
  • 数据并行(Data Parallelism,DP)
  • 专家并行(Expert Parallelism,EP,MoE 专用)

需要说明的是,TP、PP、DP 是底层三种基本策略,而 EP 并不是独立的第四种,它更像是一个”修饰开关”,必须与 TP 或 DP 组合使用才能真正生效。本文的重点对比对象,正是由此衍生的两类主流组合:TP+EP 与 DP+EP。

二、对象定义:四种并行策略分别在做什么

在对比组合方案前,先厘清每个基础策略的职责。

张量并行(TP):把单个算子层的权重切分到多块卡上,每块卡只负责该层的一部分矩阵计算,随后通过 AllReduce 这类集合通信把各卡的部分结果合并为完整输出。它的核心特征是”层内切分”——一次前向计算被拆到多卡并行完成,通信密集、频率高。

流水线并行(PP):把模型的若干层按顺序分组,不同卡负责不同层段,请求像流水线一样在卡间逐段传递。它的核心特征是”层间切分”,通信量相对小,但需要靠足够多的并发请求(micro-batch)才能填满流水线,否则会出现气泡(bubble)导致算力空转。

数据并行(DP):每张卡(或每个卡组)持有一份相对完整的模型副本,不同请求被分发到不同副本上独立计算。它的核心特征是”请求级切分”——不需要在层内做高频通信,靠调度层把请求均衡分配即可,扩展性通常最好。

专家并行(EP):这是 MoE 特有的机制。MoE 模型每一层包含多个专家(expert),每个 token 经过门控网络后只会激活其中一部分专家。EP 把这些专家分散到不同卡上,token 通过 AllToAll 通信被路由到持有对应专家的卡上完成计算,再把结果路由回来。它的核心特征是”专家级切分”,通信模式以 AllToAll 为主。

一个容易被误解的点是:框架里常被讨论的所谓”DP Attention”,与传统数据并行完全不是一回事。前者是在注意力计算路径上采用数据并行式的处理以规避 KV cache 被重复复制,后者是整模型级别的请求分发。二者虽然名字相近,但作用层级和目标完全不同,理解这一点是选型的前提。

三、相同点分析:它们解决的是同一类问题

尽管切分维度不同,四种策略在目标层面高度一致:

  1. 共同目标:都是在有限显存与算力下,把一个大模型”塞得进去、跑得起来、跑得更快”。它们对抗的核心矛盾始终是”单卡资源有限”与”模型规模庞大”之间的张力。

  2. 都依赖集合通信:TP 依赖 AllReduce,EP 依赖 AllToAll,PP 依赖点对点(P2P)传输,DP 在梯度同步语境下依赖 AllReduce。也就是说,任何并行方案都不是”免费切分”,通信开销是它们共同的天花板。

  3. 都需要与业务并发特征匹配:无论哪种策略,脱离具体并发量去谈优劣都没有意义。同一套硬件在不同 QPS、不同输入输出长度分布下,最优组合可能完全不同。

  4. 都可以组合使用:TP、PP、DP、EP 并非互斥,工程上常见的是多维组合(例如 DP 复制整组、组内 TP 切分、MoE 层再叠加 EP),这也是真实部署的常态。

四、核心差异分析:TP+EP 与 DP+EP 的本质分野

这是本文的重点。两种组合都用到了 EP,差别在于 EP 是”寄生”在 TP 之上还是”寄生”在 DP 之上,由此带来了架构、通信和适用场景的全线分化。

4.1 架构与显存模型

TP+EP:先通过 TP 把注意力层等非 MoE 部分切到组内多卡,再在 MoE 层启用 EP 分摊专家。它的优势在于显存占用更省——TP 把权重也切开了,KV cache 不会被整数倍复制。对于 MLA/MQA 这类在 KV cache 管理上有特殊结构的模型(例如某类超大 MoE 模型采用低秩注意力),TP 配合专门的 KV cache 处理策略,能显著压低单卡显存压力。代价是层内高频 AllReduce,通信密集。

DP+EP:每个副本持有一份较完整的非专家权重,通过 EP 分摊专家,靠调度层做请求级分发。它不需要层内高频切分通信,因此在多副本并行时扩展性更好、吞吐上限更高。代价是——若非专家部分的权重和 KV cache 在多个副本间被复制,显存占用会随副本数上升,对显存紧张的单机场景不友好。

一句话概括:TP+EP 省显存、通信重、延迟友好;DP+EP 吞吐强、扩展好、但吃显存。

4.2 通信模式差异

维度 TP+EP DP+EP
主通信原语 AllReduce(层内)+ AllToAll(专家路由) AllToAll(专家路由)+ 调度分发
通信频率 高(每层前向都有) 相对较低(集中在 MoE 路由)
对互联带宽敏感度 高 中
显存放大风险 低(权重被切分) 较高(副本复制权重/KV cache)

TP 的 AllReduce 发生在每一次前向的每一层,对片间互联带宽极其敏感;EP 的 AllToAll 则集中在 MoE 层的 token 路由上。因此,互联带宽越紧张,TP 的层内通信越可能成为瓶颈,这时向 DP+EP 倾斜往往更划算。

4.3 专家激活密度:EP 是加速还是减速的隐藏变量

这是 MoE 场景里最容易被忽略、却最关键的一点:每个 token 实际激活多少专家(专家激活密度),会直接决定 EP 是加速还是减速。

  • 当激活密度较高(一个 token 命中较多专家)时,AllToAll 需要搬运的 token 量大,通信开销显著,EP 的收益被通信吃掉,甚至可能变成净损耗;
  • 当激活密度较低(稀疏激活)时,专家计算量小、路由相对轻,EP 分摊专家权重的收益才能体现出来。

换言之,同样开 EP,在稀疏激活的模型上是加速,在高激活密度的模型上可能是拖后腿。这也解释了”什么时候该开专家并行开关、什么时候反而是徒增开销”这个核心问题——不能一概而论地开,必须结合模型实际的专家激活行为来判断。

4.4 并发适配与扩展性

基于在主流加速卡上部署某类超大 MoE 模型、某款大参数量 MoE 模型以及其他主流 MoE 模型的实测观察,可以提炼出一个清晰的”交叉点”:

  • 低并发、交互式场景(如对话、代码补全等延迟敏感业务):TP+EP 延迟更优。单请求延迟被摊薄到多卡,KV cache 复制受控,首 token 与整体响应更快。
  • 高并发、大吞吐场景(如批量离线推理、大规模内容生成):DP+EP 扩展性更好。多副本并行吃满算力,吞吐随副本数近似线性扩展,更适合追求单位时间总产出。

这个交叉点的本质在于:低并发时算力往往不是瓶颈,延迟才是,所以选省延迟的 TP+EP;高并发时请求足够多,瓶颈转向总吞吐,所以选扩展性强的 DP+EP。

五、对比总表

对比维度 TP+EP DP+EP
切分对象 层内权重 + 专家 请求 + 专家
显存占用 较低(权重与KV cache不被整份复制) 较高(副本复制开销随规模上升)
主通信 AllReduce + AllToAll AllToAll + 调度分发
互联带宽敏感度 高 中
并发适配 低并发、延迟敏感 高并发、吞吐导向
扩展方式 受通信瓶颈制约 近似线性扩展
典型风险 通信开销吞噬收益 显存被复制放大
更适合的模型特征 MLA/MQA类、KV cache需特别管理 专家稀疏、权重可复制

六、典型场景选择

  • 交互式对话 / 代码助手:请求零散、对首 token 延迟敏感,优先考虑 TP+EP,把单请求延迟压到最低。
  • 批量离线推理 / 大规模生成:请求密集、追求单位时间总产出,优先考虑 DP+EP,用多副本把吞吐拉满。
  • 显存吃紧的单机部署:非专家权重较大、KV cache 需精细管理时,TP+EP 因不复制权重/KV cache 而更稳妥。
  • 专家激活稀疏的 MoE 模型:EP 的通信代价可控,两种组合都可评估,此时可结合显存与并发再定。
  • 专家激活密集的 MoE 模型:EP 可能得不偿失,此时应重新评估是否开启专家并行,或降低其权重、增加 TP 占比。

七、选型建议(条件化)

没有绝对最优的组合,只有更契合当前约束的选择。可以参考如下决策路径:

  1. 先看业务并发画像:延迟敏感、并发不高 → 优先 TP+EP;吞吐优先、并发高 → 优先 DP+EP。
  2. 再看显存余量:单卡显存紧张、需精细管理 KV cache → 向 TP 倾斜;显存充裕、可接受副本复制 → 向 DP 倾斜。
  3. 再看互联带宽:片间带宽紧张时,谨慎加大 TP 比例,避免层内 AllReduce 成为瓶颈。
  4. 最后看模型专家特性:激活稀疏可放心用 EP,激活密集则需重新权衡 EP 的开关与占比。

整体思路是:以并发度和延迟/吞吐目标为第一层筛选,以显存和互联带宽为第二层约束,以专家激活密度为第三层校准,逐层收敛到具体组合。

八、迁移与使用注意事项

若从一种组合切换到另一种,需要提前评估以下风险:

  • 配置项而非默认行为:专家并行通常是一个需要显式打开的配置开关,不会自动生效。误开或漏开都会导致性能偏离预期,切换时务必核对相关参数。
  • 显存回归测试:从 DP+EP 切到 TP+EP 通常能缓解显存压力,但切分方式变化会改变单卡负载分布,应重新做显存与 OOM 边界测试。
  • 通信与吞吐基线重建:更换组合后,AllReduce/AllToAll 的比例变化会重塑性能曲线,旧的压测基线不能直接沿用,需重新建立吞吐-延迟基线。
  • 模型结构适配:MLA/MQA 等结构在 KV cache 管理上需要专门处理,切换并行组合时要确认 KV cache 策略与所选方案匹配,避免出现正确性偏差。
  • 灰度与可回滚:并行策略调整属于影响全局的变更,建议灰度发布、保留原配置以便快速回滚,并配套监控延迟、吞吐、显存占用等关键指标。
  • 多机场景的边界:本文结论主要基于单机高速互联场景,跨多机部署时网络延迟会进一步放大 TP 的通信短板,需另行评估,不能直接照搬单机推荐。

九、总结

MoE 模型的并行选型,本质是在”延迟、吞吐、显存、互联带宽”四者之间做权衡,而 EP 作为 MoE 专属修饰开关,其效果高度依赖于它寄生在 TP 还是 DP 之上。

核心结论可以归纳为三句话:TP+EP 省显存、控 KV cache、低并发下延迟更优;DP+EP 吞吐强、扩展性好、高并发下更具性价比;而专家激活密度是决定 EP 究竟加速还是减速的隐藏变量。落地时,先按并发画像确定大方向,再用显存与互联带宽收敛约束,最后用专家激活特性做校准,就能在给定硬件上选出与业务场景最匹配的并行组合。如需托管化、运维负担更低的推理服务,也可结合云上容器平台、负载均衡、监控告警等通用能力构建弹性推理链路,把精力聚焦在业务本身。

发表评论

活动