大模型缓存命中与未命中:Token成本对比与选型
作者:谁偷走了我的奶酪2026.11.16 10:50浏览量:0简介:一个Agent任务调用大模型上百次,每次都重发数十万token的完整历史,账单却没有成比例膨胀。原因藏在使用量接口的缓存字段里,背后是KV cache跨请求复用的机制。本文对比缓存命中与未命中的计算量、计费与延迟差异,并延伸到精确前缀复用与语义缓存、托管式API缓存与自建推理引擎KV复用的选择,帮助读者掌握选型方法,学会组织稳定前缀并规避缓存失效风险。
一、对比背景与对比对象
一个Agent任务跑完,模型往往已被调用上百次。每一轮,客户端都要把从系统提示词到最新消息的完整历史重新发给模型;如果任务是读取代码仓库,历史还包含大量文件内容。按常理,token消耗和账单应该随轮次同步膨胀,但实际账单常常远低于这个预期。原因就记录在调用返回的用量信息里:不同云厂商的字段命名不同,有的叫“缓存命中输入token数”,有的叫“缓存读取输入token数”,含义一致。
对某类编码智能体的实测显示,Agent单步的典型形态是:读取约119K token的历史前缀,只为新增的约875 token做完整计算;前者中的大部分按普通输入价格的十分之一计费。这个字段背后是推理系统的一条底层规则。API定价、显存管理、集群调度和Agent框架设计,都落在它的约束之下。
本文围绕三个层次的对比展开:
- 缓存命中与缓存未命中:同一请求在“复用已有计算”和“从头完整计算”两种状态下的差异;
- 精确前缀复用与语义缓存:两类容易被混为一谈的“缓存”在机制和风险上的差异;
- 托管式API缓存与自建推理引擎KV复用:同一原理在云服务和自建部署下的落地方式、运维负担与成本结构差异。
二、对象定义:prefill、KV cache与缓存命中
2.1 自回归生成中的prefill
自回归模型每生成一个新token,都要基于已有内容做一次前向计算,返回下一个token的概率分布。处理输入提示词的这一次计算称为prefill(预填充),特点是所有输入位置可以并行计算,主要受算力限制。之后逐token生成的阶段称为decode(解码),每步只处理一个新token,却仍要“看到”全部历史,主要受显存带宽限制。
2.2 KV cache缓存的是中间状态
prefill会在每一层为输入的每个位置生成两份张量:
- Key(键):每个位置对外提供的“索引”;
- Value(值):每个位置携带的实际信息。
两者合称KV cache。解码时,新token的Query(查询)与历史各位置的Key做注意力计算,再对Value加权求和。历史部分的中间结果存在显存里,就不必重算。因此,KV cache的物理本质就是这段前缀已经算出的中间状态。
prefill 阶段:输入 [t0, t1, ..., t(n-1)]→ 每层为每个位置生成 (K_i, V_i),写入显存→ 并行计算耗时约等于"一次处理 n 个token"decode 阶段:生成 t(n)Q_n 与 (K_0..K_n-1, V_0..V_n-1) 做注意力→ 历史 K/V 直接复用,只计算新位置并追加→ 不重新 prefill 历史
KV cache的显存占用与序列长度成正比。常见注意力结构下,单个请求的KV显存可以近似估算为:
KV显存 ≈ 2 × 序列长度 × 层数 × KV头数 × 每个头的维度 × 每个数值的字节数(系数 2 对应 Key 和 Value 两份张量)
按这个式子,上下文越长,一个请求占用的显存越多,缓存能同时容纳的序列就越少。上下文长、并发高时,显存往往成为瓶颈,这正是后面讨论显存管理与调度差异的原因。部分模型采用压缩潜在向量、滑动窗口或混合结构,KV的组织形式不同,但“前缀的中间状态可以复用”这一原则不变。
2.3 缓存命中在账单上如何体现
当服务端发现本次请求的前缀与之前已计算并保留的前缀一致时,直接复用这部分KV,只对新增内容做prefill。用量信息中的缓存字段记录的正是这部分输入token的数量。前缀完全一致,复用才成立;一旦某处不同,其后的KV全部作废。这个看似简单的规则,决定了后面所有差异。
三、相同点:三种方案共享的底层规则
3.1 都依赖因果注意力的前缀性质
第 i 个位置的K和V由第0到 i 个token决定,与它之后的内容无关。同一个词接在不同前缀后面,算出的张量完全不同。因此只有从第一个token起逐个相同的前缀才能复用,这也是下文所有缓存方案的共同地基。
3.2 匹配单位都是token序列
比较的是模型实际看到的token序列,而不是文本是否“看起来相似”。对话模板、角色标记、空白符和分词方式都会改变token序列。语义上再接近的两个prompt,只要token序列不一致就完全不命中。
3.3 都只复用输入,不复用输出
缓存住的是输入前缀的中间状态,而不是模型的回答。本轮输出始终按输出价格计费。上一轮的回复要到下一轮作为输入重新发送时,才进入缓存范围。
3.4 都受容量限制
无论显存中的KV块还是服务端的缓存池,容量都有限,缓存条目会因容量压力或生命周期到期被清理,命中率因而不是常量。
四、核心差异一:缓存命中与缓存未命中
4.1 计算范围与计费差异
| 对比维度 | 缓存未命中 | 缓存命中 |
|---|---|---|
| 计算范围 | 对全部输入执行prefill | 仅对新增token执行prefill,历史直接读取KV |
| 输入计费 | 全部输入token按标准输入价计费 | 命中部分按标准输入价的折扣价计费,具体折扣以平台公开定价为准 |
| 输出计费 | 按输出价全额计费 | 不变,仍按输出价全额计费 |
| 首token延迟 | 随输入长度增长而上升 | 命中的前缀不再计算,prefill工作量减小 |
| 结果正确性 | 完整计算 | 复用等价的前缀状态,与完整计算等价 |
| 不命中的常见原因 | 首次请求;前缀被修改;超出最小可缓存长度;缓存过期或被清理;切换了模型;请求被路由到其他节点 | — |
4.2 命中到底省了什么
设每轮发送的历史前缀为 H 个token,新增内容为 Δ 个token,本轮输出为 O 个token;标准输入单价、输出单价分别为 P_in、P_out;命中部分的折扣系数为 d(0 < d < 1,公开定价中常见为0.1左右)。单轮成本可写为:
未命中:Cost = (H + Δ) × P_in + O × P_out命中: Cost = H × d × P_in + Δ × P_in + O × P_out节省: ΔCost = H × (1 - d) × P_in
以原文的实测形态为例( H ≈ 119K,Δ ≈ 875, d = 0.1,单位统一为token,具体价格以平台公开定价为准):
| 项目 | 未命中 | 命中 |
|---|---|---|
| 历史前缀计费 | 119000 × 标准输入价 | 119000 × 0.1 × 标准输入价 = 11900 |
| 新增内容计费 | 875 × 标准输入价 | 875 × 标准输入价 = 875 |
| 输入计费合计(以标准输入价为1) | 119875 | 12775 |
| 相对倍数 | 约9.38倍 | 1倍(基准) |
有一点需要特别澄清:命中不会减少计费的输入token数,降低的是这部分token的单价。服务端没有少收任何token,只是把其中命中缓存的部分按折扣价计入账单。真正“少发token”要靠裁剪或压缩上下文,这是两条不同的降本路径,后文会单独对比。
节省的多少,最终取决于输出在总成本中的占比:
缓存节省占总成本的比例 = H × (1 - d) × P_in / [(H + Δ) × P_in + O × P_out]
- 输入长、输出短(代码理解、仓库问答、长文档分析):命中带来的节省占主导;
- 输出很长(长篇生成、大段重构):输出成本占比高,缓存对总账单的改善相对有限;
- 单轮会话、每轮独立:只能依赖跨请求或跨用户共享前缀,命中率通常较低;
- 多轮对话:前缀逐轮增长,节省的绝对额随轮次累积。
4.3 一致性与正确性
缓存命中只影响计算方式和计费,不影响结果语义。不过“相同输入产生相同输出”并不由缓存保证:采样参数、批处理组成、硬件与算子实现等因素都可能影响输出,这在开不开缓存时都存在。
4.4 小结
两者的差异可以归纳为:未命中是“全量计算加全价计费”,命中是“增量计算加折扣计费”。前者的成本与输入长度强相关,后者的成本更贴近“每轮真正新增的信息量”,这也是Agent长历史场景下账单不成比例膨胀的根本原因。
五、核心差异二:精确前缀复用与语义缓存
市面上另有一类按语义相似度直接返回旧答案的“语义缓存”。它属于检索系统:把历史请求编码成向量,新请求相似度超过阈值时直接返回旧答案,完全跳过模型调用。它和本文讨论的精确前缀复用是两套机制。
| 对比维度 | 精确前缀复用(本文的缓存命中) | 语义缓存 |
|---|---|---|
| 所在层次 | 推理引擎内部,复用输入前缀的中间状态 | 应用或网关层,复用完整的输入与输出对 |
| 匹配方式 | token序列逐个比对,必须完全一致 | 向量相似度加阈值判断 |
| 复用对象 | 前缀的KV张量,输出仍由模型实时生成 | 历史答案本身 |
| 结果风险 | 前缀一致则与完整计算等价 | 检索错误会直接返回不匹配的答案 |
| 计费体现 | 计入用量信息中的缓存命名字段,输入按折扣价计费 | 不经过模型调用,不产生token费用 |
| 效果决定因素 | 前缀稳定性、分词一致性、缓存容量与生命周期 | 向量模型质量、阈值设置、知识更新频率 |
| 典型适用 | 多轮对话、Agent循环、长且稳定的系统提示词与文档 | FAQ、分类、意图识别等对措辞差异不敏感、对答案确定性要求可控的任务 |
结论:
- 精确前缀复用的风险主要来自工程配置,例如前缀被无意改动、缓存失效导致命中率下降,结果本身不会错;
- 语义缓存的风险主要来自检索质量,配置不当就可能答非所问或返回过期答案;
- 两者并不互斥,可以分层使用,但必须清楚每一层返回的是“计算结果”还是“检索结果”。
六、核心差异三:托管式API缓存与自建推理引擎KV复用
6.1 云服务与自建引擎都在复用KV
多轮对话的复用就建立在4.2节的前缀规则上。在自部署的推理引擎中,上一轮算过的输入KV在请求结束后留在显存,生成阶段的输出KV续接在同一条序列上;下一轮请求的前缀与此完全一致,命中范围能一直延伸到上轮回复的末尾,引擎只对新追加的尾部做prefill。
主流云厂商的API用“断点”和“计费字段”对外呈现同一件事。其公开文档描述的缓存对象是已渲染前缀对应的KV张量:
- 本轮输出始终按输出价计费;
- 上一轮的回复要到下一轮作为输入重发时才进入缓存范围;
- 实际命中多少以用量信息为准;
- 相同输入也不保证相同输出。
也就是说,两者复用的是同一种东西,差别在于谁来管理缓存、谁承担运维,以及成本如何结算。
6.2 两类自建推理引擎的技术路径
以分页式显存管理为核心的引擎,地基是分页注意力机制(业界常称PagedAttention):
- KV显存被切成固定大小的块,典型值为16个token,请求按块申请;
- 逻辑块表映射到不连续的物理块,显存碎片问题因此得到解决;
- 在此基础上,引擎可以跨请求识别相同前缀,并让共享同一前缀的多个输出直接引用同一批物理块,需要时再以写时复制的方式分离。
以前缀共享为核心思路的引擎,则把多个请求的公共前缀组织成树状结构,常见实现是基数树(Radix Tree):
- 树的每条边是一段token序列,从根节点到某节点的路径就是一个前缀;
- 新请求到来时,引擎在树中查找最长匹配前缀,命中部分直接复用;
- 请求结束后,新计算的token序列被插入树中,供后续请求匹配;
- 这种方式更擅长处理“多个请求共享一大段内容,但后续内容各不相同”的情形,例如并行采样、代码补全和Agent多分支。
| 方案 | 显存组织方式 | 跨请求前缀识别 | 前缀内部分支共享 | 典型关注场景 |
|---|---|---|---|---|
| 方案A | 固定大小的块加逻辑块表映射 | 支持,通常需开启对应开关 | 共享块加写时复制 | 显存利用率、长短请求混跑 |
| 方案B | 树状前缀索引组织 | 默认支持 | 树结构天然支持 | 多分支生成、Agent并发会话 |
| 方案C(面向单机或资源受限环境的轻量引擎) | 按序列连续分配为主,部分实现支持环形缓存 | 有限,通常依赖提示词定位等机制 | 一般不支持 | 本地开发、端侧推理 |
这只是机制层面的归纳,具体能力以各方案官方文档为准。三类方案共同说明:分页解决“装得下”,前缀索引解决“找得到”,两者叠加才能把KV复用做到高命中率。
6.3 托管式API缓存与自建KV复用的差异
| 对比维度 | 托管式API缓存(如百度智能云等云平台上的模型服务) | 自建推理引擎KV复用 |
|---|---|---|
| 缓存管理 | 由平台统一管理容量、匹配与生命周期 | 由部署方管理显存块或前缀索引,并决定开启哪些策略 |
| 接入改造 | 一般无需改造即可受益,部分平台提供显式断点或缓存控制参数以提示可缓存内容 | 需要部署与运维推理引擎,按官方文档配置并验证生效 |
| 结果呈现 | 用量信息中的缓存字段,输入按折扣价计费 | 没有token账单,收益体现为吞吐提升、首token延迟下降和GPU利用率提高 |
| 容量与淘汰 | 平台侧调度,开发者不可见;最小可缓存长度和生命周期等规则各平台不同 | 受显存容量和自定策略约束,需要容量规划 |
| 路由要求 | 平台内部调度 | 多副本部署时通常需要会话粘滞或前缀感知路由,否则相同前缀可能被分散到不同副本 |
| 运维负担 | 监控、扩容、故障恢复由平台负责 | 需自行建设监控、告警、版本升级和容量规划 |
| 弹性能力 | 随平台容量弹性伸缩 | 依赖自有集群规模与调度能力 |
| 数据安全 | 数据经由平台处理,需评估数据保护、区域合规与租户隔离 | 数据留在自有环境,便于满足内部合规要求,隔离策略由部署方定义 |
| 成本结构 | 按token计费,OpEx,随调用量波动 | 以GPU等资源成本为主,整体更接近固定成本,需要靠利用率摊薄 |
| 适用场景 | 快速上线、流量波动明显、运维人力有限 | 调用量大且稳定、数据敏感、有推理运维团队、需要深度定制 |
自建路由失效的典型表现是:
- 打开前缀复用开关后,命中率没有明显上升;
- 首token延迟随并发升高而恶化;
- 长短请求相互干扰。
七、降本的两条路径:缓存命中与上下文压缩
缓存命中降低的是单价,上下文裁剪与压缩减少的是token数量,两者可以叠加。
最终输入成本 = (未命中token × 标准输入价) + (命中token × 标准输入价 × 折扣系数)
- 缓存命中改变的是“命中token”的比例;
- 上下文压缩改变的是“未命中token加命中token”的总量。
需要注意二者的相互影响:Agent运行中常见的“历史摘要压缩”会改变前缀token序列,压缩之后的一整段前缀都无法命中。可行的做法是:
- 让摘要一次性生成,并作为固定段追加到稳定前缀之后;
- 避免每轮都重写摘要;
- 在“减少token数量”和“保持前缀稳定”之间做权衡。
八、典型场景选择
| 场景 | 主要特征 | 更值得关注的方向 |
|---|---|---|
| 多轮客服与助手 | 系统提示词和知识库片段长期不变 | 把稳定内容前置,观察缓存字段的变化 |
| Coding Agent | 单步历史长、新增少、轮次多 | 命中率加稳定性;工具输出追加而非改写;用会话粘滞保持路由一致 |
| 批量文档处理 | 大量请求共享同一段说明或模板 | 前缀共享或共享前缀路由,合并请求以减少重复prefill |
| FAQ与高频重复问答 | 问法多样、答案相对固定 | 可评估语义缓存,但须设置兜底回答与更新机制 |
| 短输入短输出的分类抽取 | 输入短、输出短 | 缓存收益有限,优化重点在批处理与模型选择 |
| 数据敏感的内部系统 | 数据不出内网 | 自建部署,用前缀复用提升吞吐 |
| 开发测试与流量波动大的业务 | 负载不稳定、人力有限 | 托管式方案,按需使用 |
九、选型建议
- 先看前缀结构,再看方案。如果业务请求存在长而稳定的公共前缀,无论托管还是自建,缓存都有较大发挥空间;如果每轮输入都是全新的短文本,缓存能省下的有限,此时更值得优化的是请求组织方式,或者评估语义缓存是否适用。
- 运维能力有限、流量波动明显时,优先考虑托管化程度更高的方案。国内主流云平台(如百度智能云)通常提供模型服务、容器平台、负载均衡、对象存储、日志服务和监控告警等通用能力,可以让团队把精力放在业务与提示词工程上。
- 调用量大且稳定、数据敏感、需要深度定制时,再考虑自建。自建的前提是具备推理运维能力,并能做好会话粘滞或前缀感知路由。否则缓存开了也可能不命中。
- 用数据验证而不是凭感觉判断。上线前后对比缓存命中率、首token延迟和单位任务成本;自建还要看显存块使用率与请求抢占情况。
- 分层组合使用。精确前缀复用放在推理层,语义缓存只用于低风险的重复问答,上下文压缩与缓存命中协同设计,避免彼此拆台。
十、迁移与使用注意事项
10.1 提示词组织
- 稳定内容在前,易变内容在后:把系统提示词、工具定义、长期不变的文档放在前面,时间戳、检索结果、用户输入放在后面;
- 不在中途改词:即使只是修改一个标点或空格,也会让该位置之后的所有KV作废;
- 谨慎动态注入:上下文、日期、随机数不要注入系统提示词开头,否则每轮前缀都会变;
- 保持稳定片段的渲染:模板渲染要确定性,工具列表顺序固定,避免在序列中间插入或删除消息。
# 推荐:稳定 → 易变[{"role": "system", "content": STABLE_SYSTEM}, # 角色设定、工具定义{"role": "system", "content": STABLE_DOCUMENTS}, # 长期不变的知识...历史消息..., # 逐轮追加,不修改{"role": "user", "content": "当前时间:...\n" + QUERY} # 易变内容放尾部]# 不推荐:易变内容放在最前面[{"role": "system", "content": "当前时间:2025-XX-XX ..."},...]# 每轮时间一变,整个前缀失效
10.2 接口与计费
- 不同平台的缓存字段命名不同,有的只给命中数量,有的同时给出写入与读取数量,迁移时要做字段映射;
- 有的平台需要显式设置缓存断点,只缓存前N个token,且可能有最小可缓存长度、缓存写入的额外计费规则和生命周期限制,使用前应阅读最新官方文档;
- 自建没有token字段,但可以从引擎指标中提取前缀命中长度和比例。
# 伪代码:统一两种口径,字段名需按平台官方文档映射def usage_metrics(u):# 口径一:单一缓存命中字段hit = u.get("cached_tokens", 0)# 口径二:缓存读取字段(部分平台还提供缓存写入字段,可能单独计费)# hit = u.get("cache_read_input_tokens", 0)total_in = u["prompt_tokens"]miss = total_in - hitcost_in = miss * P_in + hit * P_in * d # d为缓存折扣系数cost_out = u["completion_tokens"] * P_outhit_rate = hit / total_in if total_in else 0.0return hit_rate, cost_in + cost_out
10.3 路由与稳定性
- 自建多副本时,会话粘滞能保证多轮对话落到同一副本,但也要考虑副本故障后的漂移;
- 前缀感知路由按前缀哈希选副本,能让更多请求命中,但需要处理负载不均;
- 托管式服务的会话粘滞通常指连接层面的保持,不保证落到同一缓存节点,实际命中以用量信息为准。
10.4 安全与合规
- 多租户隔离:缓存条目被清理后,不会把上下文泄露给其他请求;自建环境同样要关注缓存块复用时的数据隔离,尤其是共享块与写时复制的边界;
- 敏感数据:含个人信息或商业机密的请求,需确认平台的数据处理与留存策略是否符合内部合规要求;
- 模型升级:切换模型或升级版本后,旧KV不可复用,初期命中率会明显下降,属于正常现象。
10.5 成本与容量
- 缓存只影响输入单价,输出始终全价计费,长输出场景要把输出成本纳入测算;
- 自建的收益体现在吞吐与延迟上,应结合GPU利用率评估单位token成本,而不是只看“有没有命中”;
- 上下文越长,KV显存占用越大,需要结合块大小、并发数和平均序列长度做容量规划。
十一、总结
缓存命中的本质是复用前缀的中间计算结果:因果注意力保证了前缀一致则KV可复用,云服务的计数字段和自建引擎的显存复用,都是这条规则的两种呈现。三种对比的核心结论可以归纳为:
- 命中与未命中:命中把“全量计算加全价计费”变成“增量计算加折扣计费”,节省额与历史前缀长度和输出占比直接相关;
- 精确前缀复用与语义缓存:前者是推理层的等价复用,风险在工程配置;后者是检索层的答案复用,风险在检索质量;
- 托管与自建:复用的是同一种KV,差别在谁负责容量与路由、谁来运维,以及成本按token结算还是按资源结算。
选型的起点不是“用不用缓存”,而是“请求前缀是否稳定、团队能否承担缓存相关的运维”。在此基础上,让稳定内容前置、保持路由一致、用数据验证效果,才能在Agent、多轮对话、批量处理等长上下文场景中获得可预期的成本收益。

登录后可评论,请前往 登录 或 注册