logo

LLM推理的预填充与解码阶段有什么区别

作者:蛮不讲李2026.11.16 11:10浏览量:0

简介:一次看似简单的模型回复,内部实际分成预填充(Prefill)与解码(Decode)两个计算特征截然不同的阶段。本文从计算模式、并行度、性能瓶颈、延迟指标以及与KV缓存的关系等维度系统对比这两大阶段,并延伸对比KV缓存的两条优化路线,帮助你在容量规划、延迟优化与方案选型时建立更清晰的判断依据。

一、对比背景:为什么要把推理拆成两个阶段来看

当你输入一段 prompt,几百毫秒后模型开始逐字输出答案。从外部看,这只是”一个生成动作”;但从工程内部看,模型在同一次请求、同一张 GPU 上,实际上执行了两种性质完全不同的工作,而且各有各的性能瓶颈。

大多数介绍只停留在”模型如何预测下一个 token”这一层,却忽略了两个阶段在资源占用上的巨大差异。而这种差异,恰恰是推理服务做容量规划、延迟优化和成本估算时最需要看清的东西。本文的对比对象,正是 LLM 推理过程中最容易被忽视、却最影响性能表现的两个阶段:预填充(Prefill)与解码(Decode)。

二、对比对象定义

预填充阶段(Prefill)

Prefill 发生在你按下回车之后、第一个 token 出现之前。它负责把你输入的整段 prompt 一次性”读进”模型:完成分词、向量化、逐层注意力计算,并为后续生成建立起初始的键值缓存(KV Cache)。它的核心任务,是把所有输入 token 的信息压缩、融合,形成模型理解上下文的内部状态。prompt 越长,这个阶段要处理的量就越大。

解码阶段(Decode)

Decode 发生在首 token 吐出之后。它以自回归的方式,一次只生成一个新 token:把刚生成的 token 接回上下文,再据此预测下一个。它不断重复”预测一个 → 追加 → 再预测”的循环,直到遇到结束标记或达到长度上限。你在界面上看到的”一个字一个字往外蹦”,正是 Decode 阶段的外在表现。

三、共同的底层心智模型

在对比差异之前,先明确两者共享的底层机制,否则很容易把差异理解错。

一个 LLM,本质上是一个预测”下一个 token”的神经网络,一次只预测一个,再把结果拼回输入继续预测。整个过程都会经过下面几步:

步骤1:文本变成数字。神经网络并不”读英文”,它读的是向量。prompt 先经过分词(tokenization),被切成若干片段并映射为整数 ID。多数现代模型采用 BPE(Byte Pair Encoding)类方法:从最原始的字符出发,不断把最常见的相邻字符对合并,最终形成一个大约 5 万规模的词表。结果是常见词往往对应一个 token,而罕见词会被拆成多个片段。

示意代码(通用):

  1. prompt = "How does inference work?"
  2. ids = tokenizer.encode(prompt)
  3. # ids -> [2437, 1374, 32278, 670, 30]

步骤2:每个 token 变成向量。这些整数 ID 通过嵌入矩阵映射为稠密向量,模型在这个连续空间里做运算,而不是在离散的文字上运算。

步骤3:注意力层。模型堆叠多层注意力与前馈结构,让每个位置都能”看到”上下文中的其他位置,逐层提炼出更丰富的语义表示。

步骤4:预测下一个 token。最终输出层给出词表上每个候选 token 的概率分布,按采样策略(贪心、温度、top-k 等)选出一个作为下一个 token。

关键点在于:Prefill 与 Decode 共享以上全部机制,它们的区别不在于”算什么”,而在于”怎么算”。

四、相同点分析

  • 目标一致:两者都服务于同一个目标——最终预测出下一个 token。Prefill 产出的是”第一个” token,Decode 产出的是”后续所有” token。
  • 底层结构相同:两者跑的是同一套网络权重、同样的注意力与前馈结构,共享词表与采样逻辑。
  • 都依赖 KV 缓存:Prefill 负责”写”下初始 KV 缓存,Decode 负责”读并增量更新”它,两者围绕同一块缓存协作。
  • 输出形式相同:两个阶段最终都表现为一段连续的文本流,对调用方而言是一次 generate() 调用。

正因为相同点多,差异才更容易被忽略,而它们在生产环境里的行为却截然不同。

五、核心差异分析

1. 计算特征:算力密集 vs 访存密集

这是最根本的差异,其他差异大多由此派生。

  • Prefill 是计算密集型(compute-bound)。因为输入的所有 token 已知,可以一次性、并行地送入网络,矩阵运算并行度高,GPU 的算力单元能被压满。此时瓶颈在于浮点运算吞吐。
  • Decode 是访存密集型(memory-bound)。它一次只处理一个新 token,且必须依赖上一步的输出(自回归的串行依赖),真正的计算量很小,却要反复从显存读取海量的模型权重和不断增长的 KV 缓存。瓶颈从”算得快不快”转移到”数据搬得快不快”,即显存带宽。

一句话概括:Prefill 缺的是算力,Decode 缺的是带宽。这也解释了为什么同一张卡上,两种阶段的效率表现会有系统性差别。

2. 并行度

  • Prefill 天然可并行:整段 prompt 的 token 之间可以同时计算注意力,是一种”批量化”的处理方式,输入越长,并行带来的效率优势越明显。
  • Decode 天然串行:第 N 个 token 依赖第 N-1 个的结果,无法跳步。这种串行依赖是 Decode 难以靠单纯堆算力提速的根本原因,只能靠工程手段(如多请求批处理把不同用户的解码合并到同一次前向中)来摊薄开销。

3. 性能瓶颈与延迟指标

两个阶段对应两个不同的用户可感知指标:

  • Prefill 决定 TTFT(Time To First Token,首 token 延迟)。prompt 越长,Prefill 越慢,用户等待”开始出字”的时间越久。搜索增强、长文档摘要等长输入场景对这个阶段尤其敏感。
  • Decode 决定 TPOT / ITL(Time Per Output Token / inter-token latency,token 间延迟)。它决定输出的”流畅度”。TPOT 越低,吐字越顺滑。

优化时若把两者混为一谈,就会出现”为提升首字速度做的优化,反而拖慢了吐字速度”这类问题,因此指标要分开看、分开调。

4. 与 KV 缓存的关系

  • Prefill 阶段是缓存的”建立者”:它一次性算出所有输入 token 的键(Key)与值(Value),写入 KV 缓存。这个阶段缓存增长最快,显存压力在 prompt 很长时集中爆发。
  • Decode 阶段是缓存的”消费者兼维护者”:每生成一个 token,就往缓存里追加一份新的键值对,缓存随生成长度线性增长,持续占用显存,并直接影响后续每步的访存量。

理解这一点后,很多优化手段(缓存压缩、量化等)其实是在同时权衡两个阶段:压缩缓存对 Decode 的访存压力帮助最大,也会影响 Prefill 的写入成本。

六、对比表格

对比维度 预填充阶段(Prefill) 解码阶段(Decode)
触发时机 prompt 输入后、首 token 前 首 token 之后持续进行
处理对象 整段输入 prompt(全部已知) 每次一个新生成 token
计算特征 计算密集型,受算力约束 访存密集型,受显存带宽约束
并行性 高,可整段并行计算 低,自回归串行依赖
关键延迟指标 首 token 延迟(TTFT) token 间延迟(TPOT/ITL)
对 KV 缓存的作用 建立初始缓存(写入为主) 读取并增量追加(读写为主)
显存压力特征 prompt 越长,写入峰值越高 随生成长度线性增长
典型加速方向 提升算力利用率、算子优化 提升带宽利用率、批处理合并、缓存压缩/量化

七、延伸对比:KV 缓存的两条优化路线

既然 Decode 主要受显存带宽约束,减少 KV 缓存的体积就成了通用且有效的方向。业界常见的思路大致可归为两条路线,它们的取舍逻辑值得单独对比。

路线A:从结构源头压缩缓存。通过改进注意力的结构设计与键值对的存储/共享方式,在生成阶段就直接减少需要缓存的数据量或提高复用率。这类做法不改变数值精度,信息损失相对可控,但它作用于模型内部,往往需要在训练或适配阶段配合,改造成本偏高,属于”治本但门槛高”的方案。

路线B:量化(Quantization)。用更低的数值精度(如把高精度权重或缓存表示成更低比特)来换取更小的显存占用和更高的访存效率,本质是”用一点精度换速度与容量”。它的接入相对轻量,对带宽密集的 Decode 收益直接,但会引入精度与输出质量的权衡,需要在具体模型和业务上做验证,属于”见效快但需评估质量”的方案。

维度 路线A:结构源头压缩 路线B:量化
作用层面 模型结构/缓存组织 数值表示精度
主要收益 减少缓存总量、提升复用 降低访存与显存开销
精度影响 较小,视设计而定 存在精度—速度权衡
改造成本 较高,常需训练/适配配合 较低,可后处理接入
见效速度 相对慢 相对快
适用倾向 有模型定制能力、追求长期优化 需快速降本增效、可接受精度验证

实际工程中两者并不互斥,常常叠加使用,但每一条都应建立在充分的精度与性能验证之上。

八、典型场景选择

  • 长 prompt 场景(长文档理解、检索增强、代码库上下文):Prefill 占比高,应重点关注首 token 延迟和写入阶段的显存峰值,算力利用与算子优化收益更大。
  • 长输出场景(长文生成、多轮对话、Agent 逐 token 流式输出):Decode 占比高,吞吐与 token 间延迟是核心,显存带宽、批处理合并、缓存压缩与量化的收益更明显。
  • 高并发在线服务:两阶段的差异会同时体现,需要在容量规划上分别评估,并通过合理的批处理把不同请求的 Prefill 与 Decode 编排到有限的 GPU 资源上。
  • 离线批处理任务:对首字延迟不敏感,更关注整体吞吐与单位成本,可更激进地采用量化等以吞吐换质量的手段。

九、选型与优化建议

  • 先量化,再优化:优先分别测量 TTFT 与 TPOT,定位瓶颈究竟落在 Prefill 还是 Decode,再决定优化方向,避免盲目调参。
  • 按瓶颈对症下药:首字慢,从提升算力利用率、压缩长 prompt、优化注意力计算入手;吐字慢或显存吃紧,从带宽利用、批处理合并、缓存压缩与量化入手。
  • 组合使用优化手段:结构级压缩与量化可以叠加,但需以精度评测为前提,逐层验证输出质量是否可接受。
  • 做容量规划时分开建模:不要把 Prefill 与 Decode 当作同一种负载估算,二者的资源曲线形状不同,合并估算容易低估显存峰值或高估算力收益。

十、迁移与使用注意事项

若涉及推理方案切换或部署形态调整(例如自建部署与托管服务之间迁移),需要提前评估:

  • 兼容性与精度:更换模型、量化方式或缓存策略后,务必回归验证输出质量,尤其是长上下文与生成尾段。
  • 显存与容量:缓存随生成长度线性增长,需按最长上下文和最大并发预留显存,避免长请求触发显存峰值问题。
  • 延迟指标一致性:迁移后 TTFT 与 TPOT 都会变化,应重新设定基线并对外沟通预期。
  • 接口与运维:关注监控告警、日志、限流与弹性扩缩能力是否覆盖了两个阶段的差异化指标,避免故障定位时只看单一平均延迟而被掩盖真实瓶颈。
  • 成本结构:分别核算算力与显存两类资源成本,以及人力运维与迁移改造成本,而非只比单价。

十一、总结

LLM 的一次”生成”,内部其实是 Prefill 与 Decode 两种工作的接力:前者算力密集、可并行,负责把 prompt 读进来并建立缓存,决定首 token 延迟;后者访存密集、串行推进,负责逐字生成并维护缓存,决定吐字流畅度。二者共享同一套底层机制,却在计算特征、并行度、瓶颈和缓存关系上形成鲜明对比。围绕 KV 缓存,又派生出”从结构源头压缩”与”量化”两条优化路线,各有门槛与取舍。

真正的选型思路,不是问”哪个阶段更重要”,而是先分清自己的负载究竟卡在 Prefill 还是 Decode,再据此匹配优化手段与容量策略。看清这条流水线,你就不会再只把 generate() 当成一次简单的调用了。

发表评论

活动