logo

投机解码:让大模型多猜一步的加速思路

作者:rousong2026.11.16 11:21浏览量:0

简介:投机解码是一种提升大模型推理速度的方法。小型草稿模型先一次猜出多个候选词元,大模型再并行校验,接受正确部分。本文讲清它的定义、核心组成、工作原理、适用场景与注意事项,并说明为什么在输出分布不变的前提下仍能提速。

一、什么是投机解码

投机解码(Speculative Decoding)是一种加速自回归大语言模型推理的技术。它的基本思路是:先用计算成本较低的草稿模型(draft model)快速生成若干候选词元,再由原始的目标模型对这些候选词元做一次并行校验。校验通过的词元直接保留。校验不通过的位置由目标模型给出正确结果,其后的草稿全部丢弃。

这种方法的关键在于,目标模型的输出分布保持不变。加速来自计算方式的调整,输出质量不受影响,因此它通常被称为无损加速方法。

用一句话概括:投机解码让大模型多猜一次,猜对的部分一次性确认,猜错的部分由大模型兜底。

二、背景与价值

大语言模型采用自回归方式逐个生成词元。每生成一个词元,都要完整执行一次前向计算。推理过程的主要瓶颈通常是访存而非纯算力。每一步都要把大量模型参数从显存搬运到计算单元,计算单元大部分时间在等待数据。因此,即便硬件算力充足,单步生成速度仍然受限。

投机解码针对的正是这一瓶颈。目标模型一次前向计算可以同时处理多个位置的输入,验证k个候选词元的代价与生成1个词元的代价相差不大。如果草稿模型能猜中其中大部分词元,系统就能在一次目标模型调用中确认多个词元,从而减少目标模型的调用次数。

它的价值主要体现在三个方面:

  1. 降低延迟:单个请求的端到端响应时间缩短,对对话交互、代码补全等场景尤其重要。
  2. 提升吞吐的可能:在合适的批处理与调度条件下,同等硬件可以服务更多请求。
  3. 不改动模型权重:目标模型无需重新训练,输出分布不变,部署改动相对可控。

加速效果并非固定值。草稿模型猜得越准,加速越明显。猜得越差,额外的草稿计算反而会拖慢速度。实际收益需要结合具体模型、任务和硬件进行测量。

三、核心组成

一套典型的投机解码系统包含以下几个模块。

  1. 草稿生成器(Drafter):负责快速提出候选序列。常见形式包括:

    • 独立的小参数量语言模型,与目标模型同族或使用相同词表;
    • 与目标模型共享部分结构的轻量预测头,读取目标模型的中间层特征;
    • 直接利用目标模型前几层进行预测的自投机结构;
    • 基于检索或n-gram统计的无模型草稿,适合文本中有大量重复片段的场景。
  2. 目标模型(Target Model):最终的权威模型。它决定输出分布,所有被接受的词元都必须与它的判断一致。

  3. 验证与接受模块(Verifier):比较草稿分布与目标分布,决定每个候选词元是否接受。拒绝时,从修正分布中重新采样。

  4. 调度与缓存模块:管理多个候选分支、KV缓存的复制与回滚,以及批量请求的组织。这部分是工程实现中最容易出错的地方。

这些模块的分工可以概括为:草稿生成器负责提议,验证模块负责判定,目标模型负责定稿,调度模块负责资源管理。

四、工作原理

以最常见的顺序草稿为例,一轮投机解码的流程如下。

第一步,草稿生成。以当前上下文为起点,草稿模型连续自回归地生成k个候选词元,并记录每个位置的草稿概率。

第二步,并行验证。把上下文与k个候选词元拼接,交给目标模型做一次前向计算,得到每个位置上的目标概率分布。这一步只需一次调用。

第三步,逐位接受。从第一个候选词元开始判断。设草稿分配给该词元的概率为q,目标模型分配的概率为p。若p≥q,直接接受。否则以概率p/q接受。

第四步,修正与补全。一旦某个词元被拒绝,就从修正分布中采样一个替代词元。修正分布为 max(0, p - q) 归一化后的分布。若全部候选均被接受,则由目标模型再采样一个额外词元。这样,无论草稿模型质量如何,最终输出的分布都与直接用目标模型逐词元采样相同。

第五步,推进状态。把所有被接受的词元以及修正或补充的那一个词元写入序列,丢弃之后的草稿,进入下一轮。

伪代码示意如下:

  1. while not finished:
  2. draft_tokens, draft_probs = drafter.generate(context, k)
  3. target_probs = target.forward(context + draft_tokens)
  4. accepted = []
  5. for i in range(k):
  6. p = target_probs[i][draft_tokens[i]]
  7. q = draft_probs[i][draft_tokens[i]]
  8. if random() < min(1, p / q):
  9. accepted.append(draft_tokens[i])
  10. else:
  11. accepted.append(sample_from_residual(target_probs[i], draft_probs[i]))
  12. break
  13. else:
  14. accepted.append(sample_from_target(target_probs[k]))
  15. context = context + accepted

这段流程体现两个要点。其一,每一轮至少产生1个词元。若接受率为零,系统退化为逐词元生成,只多出草稿的开销。其二,每轮产生的词元数量取决于接受率。

接受率与加速比的关系可以用简化模型估计。假设每个候选词元被接受的概率相互独立且均为α,草稿长度为k,则一轮平均产生的词元数为 (1 - α^(k+1)) / (1 - α)。当α接近1时,该值接近k+1。实际系统中接受率会随位置、文本内容和草稿质量变化,因此上式只适合作为规划参考。计算净收益时,还要扣除草稿模型本身的耗时。

进一步的改进方向是树状草稿。草稿模型同时提出多个分支,目标模型一次验证整棵树,从而提高至少一条路径被接受的概率。树的结构既可以固定,也可以根据置信度动态调整。

五、典型场景

以下情况适合采用投机解码:

  • 交互式应用,例如

发表评论

活动