logo

解读PD分离:让大模型推理各阶段各得其所

作者:问答酱2026.11.18 11:15浏览量:1

简介:本文讲清PD分离架构的背景、工作原理与适用边界。读者可以了解Prefill与Decode两阶段对硬件的不同需求,弄清KVCache传输为何是关键挑战,并看到混合注意力模型如何让跨数据中心部署成为可能。文末还给出调度、缓存、故障降级等落地要点和压测指标。

PD分离是什么

PD分离架构(Prefill-Decode Disaggregation)把大语言模型推理拆成两个阶段,并把它们部署到不同的硬件上。Prefill阶段读入全部输入token,并行计算出键值缓存(KVCache),计算量大,属于计算密集型。Decode阶段逐个生成输出token,每生成一个token都要读取完整的KVCache,瓶颈在显存带宽,属于访存密集型。

在传统一体化部署中,两个阶段共享同一批GPU。Prefill的大规模矩阵运算会占用算力,Decode的访存需求又会被挤压。反过来,为Decode配置的大容量高带宽显存,在Prefill阶段往往闲置。PD分离的思路是让两类负载各自使用合适的硬件:算力强的芯片负责Prefill,带宽高的芯片负责Decode。

为什么需要它

随着上下文窗口变长,Prefill的计算量和生成的KVCache体积都在快速增长。多个请求同时到达时,Prefill会在短时间内集中占用算力。Decode阶段的请求数可能减少,但每个请求的带宽压力并没有减轻。

异构推理是另一种思路,即把不同型号的加速卡放进同一个集群。这种方式的运维成本较高。不同加速卡需要处在同一套RDMA网络中协同工作,调整硬件比例时,扩容或缩容都会牵动整个集群的网络配置,资源调度的灵活性因此受限。PD分离则从物理层面拆开两个阶段,让Prefill和Decode可以各自扩缩容。

核心挑战:KVCache传输

PD分离的代价在于,Prefill产生的KVCache必须传给Decode节点。在稠密注意力(Dense Attention)模型处理长上下文请求时,单个实例产生的KVCache传输速率可达约60Gbps(约7.5GB/s),具体数值取决于模型结构、序列长度、精度和并发量。这个速率超出了普通跨节点以太网的承载能力。

因此,在稠密注意力、长上下文、高并发的场景下,传统PD分离通常只能在同一机房内实施,并依赖RDMA网络。短上下文、低并发或经过KV压缩的场景,可行边界会随之变化。

混合注意力模型带来的变化

新一代混合注意力模型通过稀疏注意力或层级化KV缓存等策略,可以明显减小KVCache体积。降幅取决于具体模型配置、序列长度和对比基线,不能一概而论。KVCache变小后,单个请求的缓存传输量有可能降到普通以太网能够承载的水平。

传输瓶颈缓解后,Prefill和Decode可以放在不同的数据中心。例如,Prefill可以集中在算力成本较高的数据中心,Decode则部署在靠近用户、带宽充裕的节点。这种模式称为预填充即服务(Prefill-as-a-Service,PrfaaS)。它的价值在于,算力可以在更大范围内统一调度,不必局限于单一机房。

核心组件与工作原理

1. 调度器(Scheduler)

调度器负责请求的拆分与路由。它需要综合各机器的实时负载、KVCache的剩余空间以及跨数据中心链路的带宽状况,决定每个请求的Prefill在哪里执行,并把生成的KVCache定向传到指定的Decode节点。

落地时可以检查三件事:调度器能否读到各节点的实时负载,能否获取链路带宽与延迟指标,以及在链路异常时能否给出降级决策。

2. 预填充节点(Prefill Worker)

通常配备高算力加速卡,负责大量输入token的处理和注意力计算。在混合注意力模型下,该节点还要对KVCache做压缩和结构化打包,以尽量小的体积输出。

3. 解码节点(Decode Worker)

配备高内存带宽的加速卡,接收KVCache后逐token生成输出。它对显存容量和带宽要求都很高,需要同时支持多个长序列请求。

4. 缓存传输层

传输层决定PD分离能否稳定运行。跨数据中心场景下,它需要具备高吞吐、低延迟和可重传的可靠传输能力,并设计合理的缓存预取与流控机制。如果KVCache到达过晚,Decode节点就会出现空转,即所谓的流水线气泡。

典型应用场景

公开资料中有测试显示,在特定条件下,合理的异构跨数据中心方案相较同构PD部署,以及相较未做传输优化的朴素异构部署,都能带来吞吐量提升。提升幅度取决于硬件、模型、序列长度、并发量和网络条件。这些结果不能直接当作生产承诺,应当按自身业务做压测验证。

适合采用这一架构的场景包括:

  • 地域分布式推理:Prefill集中在核心枢纽,Decode分布在更靠近用户的边缘节点,兼顾算力成本与响应延迟。
  • 弹性算力调度:把突发的Prefill需求分流到云端算力池,减少本地为峰值预先采购硬件。
  • 资源利用率优化:Prefill与Decode节点可以按各自需求独立扩容或缩容。

相关概念对比

概念 所属层面 核心关注点
PD分离 推理服务系统架构 按计算阶段拆分服务,分别部署
模型并行 算法层面 把单层模型切分到多张卡上
数据并行 并行策略 复制模型,切分数据批次
异构计算 通用方法论 按任务特点分配到不同类型硬件

PD分离是异构计算在推理服务场景中的一种具体实现,它与模型并行、数据并行处在不同层面,三者可以组合使用。

落地注意事项

  1. 网络带宽规划:混合注意力模型降低了缓存体积,但跨数据中心传输仍要考虑延迟与并发。关键路径需要预留足够带宽,否则缓存等待会成为新的瓶颈。建议为跨机房延迟和带宽设定明确的SLO,并持续监控。
  2. 缓存管理策略:需要设计KVCache的生命周期管理,包括过期、淘汰、写回与预取规则。淘汰阈值、预取窗口等参数应通过压测确定,而不是凭经验设定。
  3. 故障降级:跨数据中心引入了更多网络节点。链路中断时,系统应能自动把任务回退到本地节点处理。降级方案需要定期演练。
  4. 批处理粒度:Prefill节点通常采用连续动态批处理。在混合架构中,批处理策略要与缓存传输顺序协调,避免因缓存未就绪而过早或过晚地调度Decode。

上线前可以用以下指标做压测:首token延迟、每token生成延迟、KVCache传输耗时分位数、链路丢包率与重传次数,以及不同故障场景下的降级成功率。

总结

PD分离架构把推理过程按计算特征拆成两个阶段,让算力密集型与访存密集型负载各自使用合适的基础设施。混合注意力模型降低了KVCache的传输压力,使这一架构有机会从单一机房走向跨数据中心的灵活调度。是否适合引入,取决于上下文长度、并发规模和网络条件。对于从事大模型基础设施和性能优化的团队来说,理解这一架构,并能用压测数据验证它的收益,是一项越来越重要的能力。

发表评论

活动