logo

大模型推理工作原理:从分词到KV缓存

作者:菠萝爱吃肉2026.11.18 12:04浏览量:0

简介:大语言模型推理到底是什么?本文从第一性原理出发,系统拆解一次推理请求中从文本分词、向量嵌入、注意力计算到预填充与解码的完整链路,并解释KV缓存与量化等关键优化,帮助你彻底理解从输入提示词到流式输出的全过程。

什么是大模型推理

大模型推理(LLM Inference),指的是大语言模型在接收用户输入(Prompt)后,逐字(逐 token)生成输出结果的过程。它本质上是一个”预测下一个 token”的神经网络在反复自我调用:模型先根据当前已有内容预测最可能出现的下一个 token,将其拼接到输入末尾,再基于更新后的序列预测再下一个 token,如此循环往复,直到生成结束标记或达到长度上限。

需要特别澄清一个常见误解:模型并不是”一次性想好全部答案再输出”,而是严格自回归(Autoregressive)地一次生成一个 token。理解了这一点,才能理解为什么流式输出时,第一个 token 之后的内容往往能一个接一个快速浮现——原因在于生成同一个请求的过程中,模型实际上完成了两种性质完全不同的计算工作。

为什么理解推理过程很重要

在敲下回车到看到第一个字浮现的几百毫秒里,背后运行的是当今最精密的计算流水线之一。理解它的价值在于:

  • 性能优化:推理存在明确的性能瓶颈,只有分清”算力密集”与”访存密集”两个阶段,才能有针对性地做加速。
  • 成本控制:token 计费、显存占用、并发能力都与推理机制直接相关。
  • 工程选型:部署方案、批处理策略、缓存配置是否合理,取决于对底层原理的掌握。

推理的核心组成与流程

步骤一:文本变成数字(分词)

神经网络并不”读懂自然语言”,它处理的是数字向量。因此 Prompt 进入模型的第一步是分词(Tokenization):将文本切分成若干小块,并为每一块分配一个整数 ID。

现代大模型普遍采用字节对编码(Byte Pair Encoding,BPE)类算法。其核心思想是:从最基本的字符单元出发,不断把最高频的相邻字符对合并成新的单元,直到构建出一个规模约数万的词表。由此产生两个结果:常见词往往对应单个 token,而少见词会被拆成多个子片段。

示意性伪代码:

  1. prompt = "How does inference work?"
  2. ids = tokenizer.encode(prompt)
  3. # ids -> [2437, 1374, 32278, 670, 30] (仅为示意)

分词策略直接影响 token 数量,而 token 数量又影响计算成本与上下文长度,因此它是整个推理链路的第一道关口。

步骤二:每个 token 变成向量(嵌入)

得到 token ID 后,模型通过嵌入层(Embedding)将每个 ID 映射为一个高维稠密向量。此时,每个 token 由一个可学习的向量表示,向量中编码了该 token 的语义特征。这一步把离散的符号空间转换成连续的向量空间,后续所有计算都在这套向量上进行。

步骤三:注意力层

注意力机制(Attention)是 Transformer 架构的核心,也是模型”理解上下文”的关键。它的作用是:在处理某个位置时,让该位置能够参考序列中其他所有位置的信息,并根据相关性动态地加权汇总。

直观地说,当模型预测下一个 token 时,注意力会决定”当前应该重点参考前面的哪些内容”。通过多头注意力(Multi-Head Attention),模型可以在多个不同的表示子空间里并行地捕捉不同类型的依赖关系——有的关注语法结构,有的关注语义指代,有的关注长距离关联。注意力层通常还会与前馈网络、归一化、残差连接交替堆叠数十层,逐步提炼出富含上下文信息的表示。

步骤四:预测下一个 token

在多层注意力与网络变换之后,模型在序列末端的表示上经过一层输出投影,得到一个覆盖整个词表的概率分布。模型据此选出下一个 token(具体策略可以是贪心、温度采样、Top-k、Top-p 等),将其拼接到输入末尾,再进入下一轮预测。

两个阶段:Prefill 与 Decode

这是理解推理性能的关键,也是最容易被忽略的部分。生成同一个请求,模型在同一次调用、同一张加速卡上,实际上做了两种截然不同的工作:

阶段一:Prefill(预填充)

处理你输入的全部 Prompt,并把其中每个 token 的表示一次性计算出来。这个阶段可以高度并行,因为所有输入 token 同时已知。它属于算力密集型(Compute-bound)任务,主要压力来自矩阵乘法的吞吐。Prefill 决定了”首 token 延迟”(Time To First Token,TTFT)——也就是你等待第一个字出现的时长。

阶段二:Decode(解码)

Prefill 完成后,进入逐 token 生成阶段。每生成一个新 token,都要再前向计算一次。但由于每次只处理一个新 token,计算量很小,瓶颈从算力转向了显存带宽——模型需要反复读取庞大的权重与缓存,属于访存密集型(Memory-bound)任务。Decode 的速度决定了”每个 token 的输出间隔”(Time Per Output Token,TPOT)。

这就解释了开头的现象:Prefill 阶段要一次性消化全部输入,计算量大,因此第一个 token 需要等待;而 Decode 阶段每个 token 虽然要重复整个前向流程,但单次计算量小,加之缓存命中,往往更快。

让一切可行的关键优化

KV 缓存(KV Cache)

在自回归生成中,每生成一个新 token,理论上都要重新计算它与之前所有 token 的注意力。若不做任何优化,计算量会随序列长度急剧膨胀。KV 缓存的做法是:把每个 token 在注意力层中计算出的 Key 和 Value 向量缓存下来,后续步骤直接复用,无需重复计算历史部分。它把 Decode 阶段每步的计算从”重算全部序列”降为”只算最新 token”,是推理能够高效运行的关键工程优化。其代价是需要额外的显存来存放缓存,且缓存大小会随上下文长度和并发请求数增长。

从源头缩小缓存

由于 KV 缓存的显存占用可能成为高并发场景的主要瓶颈,业界涌现了大量压缩缓存的思路,例如通过多查询/分组查询注意力让多个 Query 头共享 Key/Value、对缓存做量化压缩等。某些模型在架构设计中就采用了压缩缓存的方案,从源头上降低缓存体积,从而提升在长上下文和高并发下的吞吐能力。这些思路的共同目标是一致的:在尽量不损失生成质量的前提下,减少显存占用与访存量。

量化(Quantization)

量化是用精度换速度的手段。模型默认以较高精度(如 16 位浮点)存储权重和进行计算,而量化将其表示为更低比特(如 8 位甚至更低),从而减少显存占用、降低带宽压力并加快计算。合理的量化方案能在几乎不损失输出质量的情况下带来显著的资源节省,是推理部署中广泛采用的技术。

典型应用场景

  • 在线对话与内容生成:对首 token 延迟和输出流畅度都有要求,是 Prefill 与 Decode 优化的直接受益场景。
  • 高并发 API 服务:显存与缓存管理决定单卡可承载的并发量,KV 缓存与量化尤为关键。
  • 长文本处理:长上下文会放大缓存压力,压缩缓存方案价值突出。
  • 端侧与资源受限环境:量化等技术让模型在有限算力与显存下也能运行。

相关概念的区别与联系

  • 推理(Inference)与训练(Training):训练是调整模型参数的过程,推理是使用已训练好的参数生成结果;训练通常离线进行且算力消耗更大,推理更强调低延迟与高吞吐。
  • Prefill 与 Decode:前者处理输入、算力密集、决定首 token 延迟;后者逐字生成、访存密集、决定输出速度。二者共用一次请求,却有不同的优化方向。
  • 分词(Tokenization)与嵌入(Embedding):分词把文本转为离散的整数 ID,嵌入把 ID 转为连续的向量,前者是符号映射,后者是语义表示。

使用注意事项

  • 关注上下文长度:token 越多,Prefill 耗时与 KV 缓存占用越高,需权衡上下文窗口与成本。
  • 重视显存与并发:KV 缓存是并发能力的核心约束,部署前需评估缓存大小与显存余量。
  • 量化需验证质量:量化虽省资源,但过度压缩可能影响输出质量,应在目标场景上做效果验证。
  • 分阶段调优:首 token 慢,优化 Prefill(如批处理、并行);输出慢,优化 Decode(如缓存复用、访存优化),对症下药。

总结

大模型推理,本质上是”预测下一个 token”的自回归循环,由分词、嵌入、注意力、输出预测四个基本步骤构成,并在工程上划分为算力密集的 Prefill 阶段与访存密集的 Decode 阶段。KV 缓存与量化等优化,正是围绕这两个阶段的瓶颈展开,使大规模模型的实时生成成为可能。理解这套从第一性原理出发的机制,不仅能让你在调用一次生成接口时心中有数,更能指导你在性能优化、成本控制和部署选型上做出更合理的判断。

发表评论

活动