logo

LLM推理Prefill与Decode的核心区别与选型对比

作者:JC2026.11.16 11:10浏览量:0

简介:在部署大模型推理服务时,很多性能问题其实都能追溯到两个阶段的差异:Prefill(预填充)与Decode(解码)。本文从计算形状、瓶颈类型、并行能力、关键延迟指标、批处理策略与优化手段等维度系统对比这两个阶段,解释为什么它们的性能表现往往"一个吃算力、一个吃带宽",并给出面向对话、长文档、离线批处理等不同场景的调优与选型建议,帮助开发者在容量规划和架构设计时做出有依据的判断。

一、对比背景:为什么必须先把两个阶段分开看

很多团队在评估大模型推理性能时,习惯用”一次请求要多久””每秒能出多少 Token”这类笼统指标做判断,结果上线后发现体验与预期不符。原因往往在于:一次完整的推理请求并非同一种计算模式,而是由两种计算特征几乎相反的阶段串联而成——Prefill(预填充)与Decode(解码)。它们共享同一套模型权重与网络结构,却由完全不同的硬件瓶颈主导。

如果不区分二者,会出现几类典型误判:

  • 只关注”总吞吐”,结果首 Token 延迟(TTFT)不可接受,交互式产品体验崩塌;
  • 只关注”首 Token 快”,结果长回答生成越来越慢,用户等待时间不可控;
  • 按短输入压测,上线后遇到长文档输入,显存与算力预算直接被打穿;
  • 简单横向扩容副本数,却发现瓶颈在显存带宽而非算力,扩容收益远低于线性预期。

因此,把 Prefill 与 Decode 作为两个独立的技术对象来对比,是推理性能工程的基本前提。

二、对象定义:两个阶段分别解决什么问题

Prefill(预填充)阶段

用户输入 n 个 Token 后,模型需要先把这段输入”读完”,建立完整的上下文表示。以单层注意力为例,模型将输入矩阵 X = [x1, …, xn] 一次性送入网络,计算:

  1. Q = X · Wq , K = X · Wk , V = X · Wv
  2. H = softmax( (Q · Kᵀ) / sqrt(d_k) + M ) · V

其中 M 是因果掩码(上三角为 0、下三角为 -∞ 的形式),保证每个位置只能关注自己及其之前的位置,不能”偷看”未来的答案。有了掩码,因果约束就被直接融入一次矩阵运算中。

由于全部输入 Token 已知,Q · Kᵀ 是一个完整的 n × n 矩阵,各层的线性变换也都是大规模矩阵乘法(GEMM)。GPU 的并行计算单元可以被充分喂饱。计算完成后,模型把每一层的 K、V 写入 KV Cache,并用最后一个位置的输出预测第一个新 Token。

Decode(解码)阶段

第一个 Token 产出后,进入自回归循环。处理第 t 个 Token 时,模型只需计算当前位置的单个向量:

  1. q_t, k_t, v_t = 当前 Token 的 Q/K/V
  2. h_t = softmax( q_t · [K_cache ; k_t]ᵀ / sqrt(d_k) ) · [V_cache ; v_t]

方括号表示沿 Token 维度拼接。当前 Token 既能看到历史信息,也能看到自身。计算结束后,k_t、v_t 被追加进对应层的 KV Cache,供下一轮使用。

这里的关键差异在于:注意力得分矩阵的形状只有 1 × t,而不是 n × n。因为下一个 Token 依赖上一个 Token 的生成结果,而这种依赖只有在本轮计算完成后才成立,所以 Decode 天然无法像 Prefill 那样在多个位置上并行。

三、相同点:不要忽略的共同基础

对比之前先明确二者的一致之处,这有助于理解为什么优化手段有时可以复用:

  • 同属一次请求生命周期:Prefill 与 Decode 不是两套系统,而是同一个前向传播过程的两个阶段,共享同一份权重与同一套层结构。
  • 共享同一约束机制:两者都必须施加因果掩码语义,只是 Prefill 以显式矩阵形式体现,Decode 中以”只能读取已缓存的历史 Key/Value”的形式隐含体现。
  • 都围绕 KV Cache 运转:Prefill 是批量写入方,Decode 是增量写入与读取方,KV Cache 是两者之间的桥梁。
  • 同受显存约束:权重、KV Cache、激活值共同占用显存,二者都需要在有限显存内完成调度。
  • 优化目标一致:都服务于同一个自回归语言建模目标,任何一阶段的性能缺陷都会体现在用户可感知的端到端延迟上。

四、核心差异分析

1. 计算形状与算术强度

Prefill 的主导算子是大矩阵乘(GEMM),算术强度高——每读取一次权重,可以服务 n 个位置的复用计算。Decode 的主导算子退化为矩阵-向量乘(GEMV 风格),算术强度低——每读取一次权重,只产出一个 Token。

这一差异是后续所有性能结论的根源。

2. 瓶颈类型

  • Prefill 通常是计算密集型(compute-bound):算得多,算力成为上限。
  • 小 Batch 下的 Decode 通常是显存带宽密集型(memory-bandwidth-bound):算得少,但每一轮都要把全部模型权重从显存搬一遍,还要读取随上下文增长而线性增长的 KV Cache。时间主要花在数据搬运而非浮点运算上。

随着 Decode 的 Batch 增大,权重读取成本被多个请求摊薄,算术强度上升,Decode 有可能从带宽受限逐步转向算力受限——这正是”连续批处理”类调度策略的理论依据。

3. 并行能力与硬件利用率

Prefill 的位置维度可并行,序列内高度并行;Decode 的位置维度串行,只能在 Batch 维度上并行。因此在低并发、长生成的场景下,Decode 阶段的硬件利用率往往明显低于 Prefill,这也是同一张加速卡在两个阶段表现差异巨大的原因。

4. 对应的用户可感知指标

阶段 主要影响的指标 用户体验含义
Prefill 首 Token 延迟(TTFT),含排队与预填充耗时 “点了发送后多久开始出字”
Decode 单 Token 输出间隔(TPOT / ITL) “出字流畅度,像打字机还是卡顿”

端到端延迟大致可理解为:总延迟 ≈ 排队时间 + Prefill 时间 + (输出 Token 数 − 1) × Decode 单步时间。可见输入长度主要影响第一项与第二项,输出长度主要影响第三项。

5. 随上下文长度的变化趋势

  • Prefill 的计算量随输入长度呈超线性增长(注意力部分为 n² 量级),长输入会显著推高 TTFT;
  • Decode 的单步计算量随已生成长度近似线性增长,但权重读取成本恒定,因此长上下文下 KV Cache 的读取与搬运压力会成为主要成本项。

6. 典型优化手段不同

方向 面向 Prefill 的手段 面向 Decode 的手段
调度 分块预填充(chunked prefill),把长输入切片与解码步骤交织调度,避免长请求阻塞解码 连续/动态批处理(continuous batching),把不同请求的解码步拼进同一批
复用 前缀 KV 复用,多轮对话与相同系统提示词只计算一次 投机式解码,一次前向验证多个候选 Token,提高单步产出
显存 合理限制单请求最大输入长度、分块大小 KV Cache 量化、更高效的 KV 管理策略(如分页式管理、分组查询注意力等通用架构手段)
部署形态 与 Decode 资源配比可分离的部署形态(业界常见的”预填充与解码分离”思路) 提升单位显存带宽利用率、增大有效 Batch

一段示意性的调度伪代码可以帮助理解两者如何被区别对待:

  1. while not all_requests_finished:
  2. batch_prefill, batch_decode = scheduler.split(waiting, running)
  3. if batch_prefill:
  4. # 长输入切片,避免一次占用过多算力并饿死解码请求
  5. chunk = truncate_to_token_budget(batch_prefill, max_prefill_tokens)
  6. kv_cache = model.prefill(chunk) # 计算密集
  7. if chunk.is_last:
  8. move_to_decode(chunk)
  9. if batch_decode:
  10. # 每个请求只前进一步,靠 batch 维度凑并行度
  11. next_tokens = model.decode_step(batch_decode, kv_cache) # 带宽密集
  12. append_to_kv_cache(batch_decode, next_tokens)
  13. # 监控两个阶段的排队与耗时,动态调整资源配比

五、结构化对比总表

对比维度 Prefill(预填充) Decode(解码)
处理对象 用户输入的全部 n 个 Token 每次仅 1 个新 Token
注意力计算形状 n × n 得分矩阵 1 × t 得分矩阵
主导算子 大矩阵乘法(GEMM) 矩阵-向量乘法(GEMV 风格)
瓶颈类型 计算密集,受算力上限约束 小 Batch 下带宽密集,受显存带宽约束
并行维度 序列位置维度可并行 仅 Batch 维度可并行
与 KV Cache 的关系 批量写入 增量追加并反复读取
硬件利用率特征 通常较高且稳定 低并发时偏低,随 Batch 增大而改善
关键指标 首 Token 延迟(TTFT) 单 Token 输出间隔(TPOT)
主要影响因素 输入长度、排队情况 输出长度、并发批大小、KV Cache 体量
典型优化 分块预填充、前缀复用、长度限制 连续批处理、KV 量化、投机式解码
资源配比倾向 更吃算力资源 更吃显存容量与带宽

六、典型场景与优先级取舍

交互式对话与智能助手:用户对首字响应最敏感。应优先压低排队时间与 Prefill 耗时,例如限制超长输入、对系统提示词做前缀复用、为预填充预留独立算力配额。同时需要保证 Decode 的每步延迟稳定,避免出现”首字很快、后面越来越慢”的体验落差。

长文档理解、报告生成、代码级联处理:输入极长、输出也长。Prefill 的 n² 特征会被放大,此时分块预填充与长上下文显存规划比单纯增加算力更有效;同时 KV Cache 的容量与带宽开销需要单独核算。

离线批处理与内容生产:不存在实时的首字要求,目标是单位成本下的总产出。可以显著增大 Decode 批大小以摊薄权重读取成本,并接受较长的单请求延迟。

高并发在线服务、多租户平台:重点是隔离与稳定性。需要按请求优先级区分调度,避免少数超长输入请求持续占用算力而阻塞大量短请求的解码步;同时按输入/输出长度分布做资源配比,而非用单一平均值估算。

开发测试环境:更看重弹性与成本可控,容量小、并发低时 Decode 的带宽瓶颈最明显,此时应以正确性验证为主,不宜直接以低配环境的数据推断生产表现。

七、选型与调优建议(条件化)

  • 若业务以短输入、长输出为主,Decode 的批处理效率与 KV Cache 管理是关键,优先考虑批处理调度能力完善、显存利用方式高效的方案。
  • 若业务以长输入、短输出为主,Prefill 的算力供给与排队策略更重要,应重点评估算力弹性与前缀复用能力。
  • 若输入输出长度分布高度不均,需要具备分块与优先级调度能力的推理层,否则尾延迟容易被长请求拉高。
  • 若团队不具备自建推理集群的运维能力,可评估云上托管的大模型推理服务(例如百度智能云提供的大模型相关服务能力),把 KV Cache 管理、批处理调度、弹性扩缩容等交由平台侧承担;若团队具备较强的底层调优能力且有明确的成本约束,自建方案在深度优化空间上更灵活。这两种路线并非优劣关系,取决于团队规模、SLA 要求与调优投入意愿。
  • 资源配比不应”一刀切”。理想做法是先测量真实流量下的输入/输出长度分布,再分别核算 Prefill 的算力需求与 Decode 的显存容量、带宽需求,按测量结果分配资源。

八、迁移与使用注意事项

从自建转向托管、或在不同推理配置之间迁移时,需要提前评估以下几点:

  • 指标基线要分阶段重建:不要沿用旧环境的”总延迟”数字,应分别建立 TTFT 与 TPOT 基线,并注明测试的输入长度、输出长度与并发数。
  • 压测数据要贴近真实分布:使用固定短输入压测会严重低估 Prefill 压力;使用固定短输出则会高估 Decode 占比。
  • 容量规划要单独核算 KV Cache:其占用与并发数、上下文长度、模型结构相关,长上下文场景下往往比权重本身更容易成为瓶颈。
  • 兼容性验证要覆盖参数语义:采样参数、最大长度限制、流式输出行为、超时与重试机制在新环境中可能表现不同,需要做端到端一致性比对。
  • 可观测性要前置设计:至少覆盖排队时长、Prefill 耗时、Decode 单步耗时、批大小、显存占用等指标,否则线上问题难以定位到具体阶段。
  • 稳定性与降级策略:预设输入长度上限、并发上限与降级路径,避免极端请求同时冲击 Prefill 与 Decode 两侧资源。

九、总结

Prefill 与 Decode 的分野,本质上是一次”批量并行计算”与一次”串行增量计算”的分野。前者把已知输入一次性并行处理,注意力矩阵为 n × n,主要消耗算力,决定首 Token 延迟;后者逐个生成,注意力矩阵为 1 × t,主要消耗显存带宽,决定出字流畅度。二者共享同一套权重、同一套因果约束与同一个 KV Cache,却需要不同的调度与优化策略。

实践中的判断思路可以归纳为三句话:先按业务对”首字响应”和”持续吞吐”的敏感度确定优化优先级;再按真实输入输出长度分布分别核算 Prefill 的算力与 Decode 的显存带宽需求;最后根据团队运维能力在自建深度调优与云上托管服务之间做出选择。把这两个阶段拆开测量、拆开优化、拆开配置资源,通常比追求单一笼统指标更接近真实的服务质量。

发表评论

活动