MoE模型解码架构中的PD分离部署是什么

一、概念定义：什么是PD分离部署

PD分离部署（Prefill-Decode Disaggregation）是大模型推理系统的一种部署架构模式。其核心思想是：将自回归仅解码（Decoder-Only）架构的推理过程拆分为两个独立阶段——Prefill（预填充）和Decode（解码），并将这两个阶段分别部署在不同的设备或不同的GPU上，使二者不再共享同一套计算资源与并行策略。

在传统混合部署中，Prefill和Decode两个阶段运行在同一组GPU上，共享显存、算力和调度队列。PD分离部署则通过物理或逻辑上的解耦，让每个阶段可以独立选择并行策略、独立扩缩容、独立优化其核心性能指标。

要准确理解PD分离部署，需要先建立两个前置认知：混合专家模型（MoE）的稀疏激活特性，以及Decoder-Only架构的两阶段推理过程。前者决定了模型参数量与激活量的分离关系，后者决定了推理任务在时间维度上的资源需求差异。PD分离部署正是针对这两类特征做出的架构级回应。

二、背景与价值：为什么需要PD分离

2.1 Decoder-Only推理的两阶段特征

Decoder-Only架构基于前文逐步生成下一个词。其推理过程分为两个阶段：

• Prefill阶段：将输入的prompt一次性计算为Q、K、V，并生成首个token，同时把K、V存入缓存供后续使用。该阶段需要处理完整的输入序列，矩阵运算量大，属于计算密集型任务，核心优化目标是TTFT（首个token响应时间）。
• Decode阶段：基于已缓存的K、V，逐词生成后续token，每次迭代只处理一个token的输入。该阶段计算量小但需要频繁读取KV Cache，属于访存密集型任务，核心优化目标是TPOT（后续平均每个token生成时间）。

两个阶段对算力、显存带宽、并行策略的需求截然不同，这是PD分离部署存在的根本前提。

2.2 混合部署的两大核心问题

在Prefill与Decode混合部署时，会暴露两个棘手问题：

1. 阶段间强干扰：Prefill的长序列计算会占用大量算力，导致Decode阶段的token生成被阻塞，TPOT抖动明显；反之，Decode的持续访存也会影响Prefill的批处理效率，TTFT难以稳定。
2. 资源分配与并行策略耦合：两个阶段共享同一组GPU时，张量并行度、批大小、显存划分等策略必须折中，无法针对各自特征独立调优。计算密集型的Prefill可能希望更大的并行度和更高的算力利用率，而访存密集型的Decode更关注KV Cache的显存容量与读取带宽，二者诉求存在结构性冲突。

2.3 PD分离带来的价值

通过将两个阶段解耦部署，PD分离部署使TTFT和TPOT可以分别独立优化，避免阶段间干扰，并允许每个阶段按自身特征选择并行策略与扩缩容方案。对于MoE模型而言，这一价值进一步放大：MoE的稀疏激活特性意味着不同专家模块的负载分布不均，将阶段解耦后可以更精细地调度专家计算资源，提升整体吞吐效率。

三、核心组成与工作原理

3.1 阶段拆解与KV Cache传输

PD分离部署的关键连接点是KV Cache。Prefill阶段计算出的K、V需要传递给Decode阶段使用。在具备高速网络（如IB或RoCE）的环境中，可以将Prefill和Decode分别部署在不同设备上，或在同一设备内划分到不同GPU上，通过高速链路完成KV Cache传输。

一个值得思考的问题是：为什么只存K、V cache，而不存Q cache？原因在于Decoder-Only的自回归机制中，Q只在当前计算步使用，用于与K、V做注意力计算产生输出，计算完成后即失去复用价值；而K、V需要在后续所有解码步中被反复读取，因此只有K、V具备跨阶段、跨步复用的必要性。

3.2 部署形态

PD分离部署主要有两种落地形态：

• 跨设备部署：Prefill节点与Decode节点分离在不同物理设备上，通过高速网络传输KV Cache。适合大规模集群场景，便于独立扩缩容。
• 同设备跨GPU部署：在同一台设备内将两个阶段分配到不同GPU，规避阶段干扰的同时降低网络传输开销。适合中等规模或对时延敏感的场景。

3.3 工作流程示意

输入prompt
   │
   ▼
[Prefill阶段] ── 计算Q、K、V，生成首token
   │
   ├── 存储KV Cache
   │
   ▼
[KV Cache传输] ── 通过高速链路传递至Decode侧
   │
   ▼
[Decode阶段] ── 基于KV Cache逐词生成
   │
   ▼
输出完整序列

四、与相关概念的区别

• 与混合部署的区别：混合部署中Prefill和Decode共享资源与并行策略，实现简单但存在干扰；PD分离部署以额外传输开销换取独立优化能力。
• 与MoE稀疏激活的关系：MoE解决的是“单次请求激活少量专家”的模型结构问题，PD分离解决的是“推理阶段资源需求异构”的部署问题，二者是不同层面的优化，但可以叠加使用。
• 与批处理调度的区别：连续批处理等调度优化在单阶段内部提升吞吐，PD分离则在阶段之间做架构级解耦，二者互补而非替代。

五、典型适用场景

1. 长输入、短输出场景：Prefill计算占比高，分离后可针对性提升TTFT。
2. 长输出、流式交互场景：Decode持续时间长，分离后TPOT更稳定，用户体验更平滑。
3. MoE大模型服务：专家负载不均，分离部署便于按阶段调度专家资源。
4. 多租户推理平台：不同阶段可独立扩缩容，提升资源利用率。

六、使用注意事项

• KV Cache传输开销：分离部署引入跨设备传输，需评估网络带宽与时延，避免传输成为新瓶颈。
• 显存规划：Decode侧需预留充足显存容纳KV Cache，Prefill侧则侧重算力配置。
• 并行策略独立设计：两个阶段的张量并行度、批大小应分别调优，不可沿用混合部署的折中参数。
• 故障与调度：分离后系统组件增多，需关注传输链路可靠性与阶段间调度一致性。

七、总结

PD分离部署是面向Decoder-Only推理两阶段资源特征差异的一种架构级解耦方案。它以KV Cache为连接纽带，将计算密集的Prefill与访存密集的Decode分别部署、独立优化，从而稳定TTFT与TPOT两个核心指标。对于MoE模型与大规模推理服务而言，PD分离部署提供了一条可扩展、可精细调度的优化路径，但其收益取决于传输开销、显存规划与并行策略设计的综合平衡。理解其定义与边界，是推理系统选型与优化的基础。