logo

大模型缓存命中与未命中:Token成本对比与选型

作者:谁偷走了我的奶酪2026.11.16 10:50浏览量:0

简介:一个Agent任务调用大模型上百次,每次都重发数十万token的完整历史,账单却没有成比例膨胀。原因藏在使用量接口的缓存字段里,背后是KV cache跨请求复用的机制。本文对比缓存命中与未命中的计算量、计费与延迟差异,并延伸到精确前缀复用与语义缓存、托管式API缓存与自建推理引擎KV复用的选择,帮助读者掌握选型方法,学会组织稳定前缀并规避缓存失效风险。

一、对比背景与对比对象

一个Agent任务跑完,模型往往已被调用上百次。每一轮,客户端都要把从系统提示词到最新消息的完整历史重新发给模型;如果任务是读取代码仓库,历史还包含大量文件内容。按常理,token消耗和账单应该随轮次同步膨胀,但实际账单常常远低于这个预期。原因就记录在调用返回的用量信息里:不同云厂商的字段命名不同,有的叫“缓存命中输入token数”,有的叫“缓存读取输入token数”,含义一致。

对某类编码智能体的实测显示,Agent单步的典型形态是:读取约119K token的历史前缀,只为新增的约875 token做完整计算;前者中的大部分按普通输入价格的十分之一计费。这个字段背后是推理系统的一条底层规则。API定价、显存管理、集群调度和Agent框架设计,都落在它的约束之下。

本文围绕三个层次的对比展开:

  • 缓存命中与缓存未命中:同一请求在“复用已有计算”和“从头完整计算”两种状态下的差异;
  • 精确前缀复用与语义缓存:两类容易被混为一谈的“缓存”在机制和风险上的差异;
  • 托管式API缓存与自建推理引擎KV复用:同一原理在云服务和自建部署下的落地方式、运维负担与成本结构差异。

二、对象定义:prefill、KV cache与缓存命中

2.1 自回归生成中的prefill

自回归模型每生成一个新token,都要基于已有内容做一次前向计算,返回下一个token的概率分布。处理输入提示词的这一次计算称为prefill(预填充),特点是所有输入位置可以并行计算,主要受算力限制。之后逐token生成的阶段称为decode(解码),每步只处理一个新token,却仍要“看到”全部历史,主要受显存带宽限制。

2.2 KV cache缓存的是中间状态

prefill会在每一层为输入的每个位置生成两份张量:

  • Key(键):每个位置对外提供的“索引”;
  • Value(值):每个位置携带的实际信息。

两者合称KV cache。解码时,新token的Query(查询)与历史各位置的Key做注意力计算,再对Value加权求和。历史部分的中间结果存在显存里,就不必重算。因此,KV cache的物理本质就是这段前缀已经算出的中间状态。

  1. prefill 阶段:输入 [t0, t1, ..., t(n-1)]
  2. → 每层为每个位置生成 (K_i, V_i),写入显存
  3. → 并行计算耗时约等于"一次处理 n 个token"
  4. decode 阶段:生成 t(n)
  5. Q_n 与 (K_0..K_n-1, V_0..V_n-1) 做注意力
  6. → 历史 K/V 直接复用,只计算新位置并追加
  7. → 不重新 prefill 历史

KV cache的显存占用与序列长度成正比。常见注意力结构下,单个请求的KV显存可以近似估算为:

  1. KV显存 ≈ 2 × 序列长度 × 层数 × KV头数 × 每个头的维度 × 每个数值的字节数
  2. (系数 2 对应 Key 和 Value 两份张量)

按这个式子,上下文越长,一个请求占用的显存越多,缓存能同时容纳的序列就越少。上下文长、并发高时,显存往往成为瓶颈,这正是后面讨论显存管理与调度差异的原因。部分模型采用压缩潜在向量、滑动窗口或混合结构,KV的组织形式不同,但“前缀的中间状态可以复用”这一原则不变。

2.3 缓存命中在账单上如何体现

当服务端发现本次请求的前缀与之前已计算并保留的前缀一致时,直接复用这部分KV,只对新增内容做prefill。用量信息中的缓存字段记录的正是这部分输入token的数量。前缀完全一致,复用才成立;一旦某处不同,其后的KV全部作废。这个看似简单的规则,决定了后面所有差异。

三、相同点:三种方案共享的底层规则

3.1 都依赖因果注意力的前缀性质

第 i 个位置的K和V由第0到 i 个token决定,与它之后的内容无关。同一个词接在不同前缀后面,算出的张量完全不同。因此只有从第一个token起逐个相同的前缀才能复用,这也是下文所有缓存方案的共同地基。

3.2 匹配单位都是token序列

比较的是模型实际看到的token序列,而不是文本是否“看起来相似”。对话模板、角色标记、空白符和分词方式都会改变token序列。语义上再接近的两个prompt,只要token序列不一致就完全不命中。

3.3 都只复用输入,不复用输出

缓存住的是输入前缀的中间状态,而不是模型的回答。本轮输出始终按输出价格计费。上一轮的回复要到下一轮作为输入重新发送时,才进入缓存范围。

3.4 都受容量限制

无论显存中的KV块还是服务端的缓存池,容量都有限,缓存条目会因容量压力或生命周期到期被清理,命中率因而不是常量。

四、核心差异一:缓存命中与缓存未命中

4.1 计算范围与计费差异

对比维度 缓存未命中 缓存命中
计算范围 对全部输入执行prefill 仅对新增token执行prefill,历史直接读取KV
输入计费 全部输入token按标准输入价计费 命中部分按标准输入价的折扣价计费,具体折扣以平台公开定价为准
输出计费 按输出价全额计费 不变,仍按输出价全额计费
首token延迟 随输入长度增长而上升 命中的前缀不再计算,prefill工作量减小
结果正确性 完整计算 复用等价的前缀状态,与完整计算等价
不命中的常见原因 首次请求;前缀被修改;超出最小可缓存长度;缓存过期或被清理;切换了模型;请求被路由到其他节点 —

4.2 命中到底省了什么

设每轮发送的历史前缀为 H 个token,新增内容为 Δ 个token,本轮输出为 O 个token;标准输入单价、输出单价分别为 P_in、P_out;命中部分的折扣系数为 d(0 < d < 1,公开定价中常见为0.1左右)。单轮成本可写为:

  1. 未命中:Cost = (H + Δ) × P_in + O × P_out
  2. 命中: Cost = H × d × P_in + Δ × P_in + O × P_out
  3. 节省: ΔCost = H × (1 - d) × P_in

以原文的实测形态为例( H ≈ 119K,Δ ≈ 875, d = 0.1,单位统一为token,具体价格以平台公开定价为准):

项目 未命中 命中
历史前缀计费 119000 × 标准输入价 119000 × 0.1 × 标准输入价 = 11900
新增内容计费 875 × 标准输入价 875 × 标准输入价 = 875
输入计费合计(以标准输入价为1) 119875 12775
相对倍数 约9.38倍 1倍(基准)

有一点需要特别澄清:命中不会减少计费的输入token数,降低的是这部分token的单价。服务端没有少收任何token,只是把其中命中缓存的部分按折扣价计入账单。真正“少发token”要靠裁剪或压缩上下文,这是两条不同的降本路径,后文会单独对比。

节省的多少,最终取决于输出在总成本中的占比:

  1. 缓存节省占总成本的比例 = H × (1 - d) × P_in / [(H + Δ) × P_in + O × P_out]
  • 输入长、输出短(代码理解、仓库问答、长文档分析):命中带来的节省占主导;
  • 输出很长(长篇生成、大段重构):输出成本占比高,缓存对总账单的改善相对有限;
  • 单轮会话、每轮独立:只能依赖跨请求或跨用户共享前缀,命中率通常较低;
  • 多轮对话:前缀逐轮增长,节省的绝对额随轮次累积。

4.3 一致性与正确性

缓存命中只影响计算方式和计费,不影响结果语义。不过“相同输入产生相同输出”并不由缓存保证:采样参数、批处理组成、硬件与算子实现等因素都可能影响输出,这在开不开缓存时都存在。

4.4 小结

两者的差异可以归纳为:未命中是“全量计算加全价计费”,命中是“增量计算加折扣计费”。前者的成本与输入长度强相关,后者的成本更贴近“每轮真正新增的信息量”,这也是Agent长历史场景下账单不成比例膨胀的根本原因。

五、核心差异二:精确前缀复用与语义缓存

市面上另有一类按语义相似度直接返回旧答案的“语义缓存”。它属于检索系统:把历史请求编码成向量,新请求相似度超过阈值时直接返回旧答案,完全跳过模型调用。它和本文讨论的精确前缀复用是两套机制。

对比维度 精确前缀复用(本文的缓存命中) 语义缓存
所在层次 推理引擎内部,复用输入前缀的中间状态 应用或网关层,复用完整的输入与输出对
匹配方式 token序列逐个比对,必须完全一致 向量相似度加阈值判断
复用对象 前缀的KV张量,输出仍由模型实时生成 历史答案本身
结果风险 前缀一致则与完整计算等价 检索错误会直接返回不匹配的答案
计费体现 计入用量信息中的缓存命名字段,输入按折扣价计费 不经过模型调用,不产生token费用
效果决定因素 前缀稳定性、分词一致性、缓存容量与生命周期 向量模型质量、阈值设置、知识更新频率
典型适用 多轮对话、Agent循环、长且稳定的系统提示词与文档 FAQ、分类、意图识别等对措辞差异不敏感、对答案确定性要求可控的任务

结论:

  • 精确前缀复用的风险主要来自工程配置,例如前缀被无意改动、缓存失效导致命中率下降,结果本身不会错;
  • 语义缓存的风险主要来自检索质量,配置不当就可能答非所问或返回过期答案;
  • 两者并不互斥,可以分层使用,但必须清楚每一层返回的是“计算结果”还是“检索结果”。

六、核心差异三:托管式API缓存与自建推理引擎KV复用

6.1 云服务与自建引擎都在复用KV

多轮对话的复用就建立在4.2节的前缀规则上。在自部署的推理引擎中,上一轮算过的输入KV在请求结束后留在显存,生成阶段的输出KV续接在同一条序列上;下一轮请求的前缀与此完全一致,命中范围能一直延伸到上轮回复的末尾,引擎只对新追加的尾部做prefill。

主流云厂商的API用“断点”和“计费字段”对外呈现同一件事。其公开文档描述的缓存对象是已渲染前缀对应的KV张量:

  • 本轮输出始终按输出价计费;
  • 上一轮的回复要到下一轮作为输入重发时才进入缓存范围;
  • 实际命中多少以用量信息为准;
  • 相同输入也不保证相同输出。

也就是说,两者复用的是同一种东西,差别在于谁来管理缓存、谁承担运维,以及成本如何结算。

6.2 两类自建推理引擎的技术路径

以分页式显存管理为核心的引擎,地基是分页注意力机制(业界常称PagedAttention):

  • KV显存被切成固定大小的块,典型值为16个token,请求按块申请;
  • 逻辑块表映射到不连续的物理块,显存碎片问题因此得到解决;
  • 在此基础上,引擎可以跨请求识别相同前缀,并让共享同一前缀的多个输出直接引用同一批物理块,需要时再以写时复制的方式分离。

以前缀共享为核心思路的引擎,则把多个请求的公共前缀组织成树状结构,常见实现是基数树(Radix Tree):

  • 树的每条边是一段token序列,从根节点到某节点的路径就是一个前缀;
  • 新请求到来时,引擎在树中查找最长匹配前缀,命中部分直接复用;
  • 请求结束后,新计算的token序列被插入树中,供后续请求匹配;
  • 这种方式更擅长处理“多个请求共享一大段内容,但后续内容各不相同”的情形,例如并行采样、代码补全和Agent多分支。
方案 显存组织方式 跨请求前缀识别 前缀内部分支共享 典型关注场景
方案A 固定大小的块加逻辑块表映射 支持,通常需开启对应开关 共享块加写时复制 显存利用率、长短请求混跑
方案B 树状前缀索引组织 默认支持 树结构天然支持 多分支生成、Agent并发会话
方案C(面向单机或资源受限环境的轻量引擎) 按序列连续分配为主,部分实现支持环形缓存 有限,通常依赖提示词定位等机制 一般不支持 本地开发、端侧推理

这只是机制层面的归纳,具体能力以各方案官方文档为准。三类方案共同说明:分页解决“装得下”,前缀索引解决“找得到”,两者叠加才能把KV复用做到高命中率。

6.3 托管式API缓存与自建KV复用的差异

对比维度 托管式API缓存(如百度智能云等云平台上的模型服务) 自建推理引擎KV复用
缓存管理 由平台统一管理容量、匹配与生命周期 由部署方管理显存块或前缀索引,并决定开启哪些策略
接入改造 一般无需改造即可受益,部分平台提供显式断点或缓存控制参数以提示可缓存内容 需要部署与运维推理引擎,按官方文档配置并验证生效
结果呈现 用量信息中的缓存字段,输入按折扣价计费 没有token账单,收益体现为吞吐提升、首token延迟下降和GPU利用率提高
容量与淘汰 平台侧调度,开发者不可见;最小可缓存长度和生命周期等规则各平台不同 受显存容量和自定策略约束,需要容量规划
路由要求 平台内部调度 多副本部署时通常需要会话粘滞或前缀感知路由,否则相同前缀可能被分散到不同副本
运维负担 监控、扩容、故障恢复由平台负责 需自行建设监控、告警、版本升级和容量规划
弹性能力 随平台容量弹性伸缩 依赖自有集群规模与调度能力
数据安全 数据经由平台处理,需评估数据保护、区域合规与租户隔离 数据留在自有环境,便于满足内部合规要求,隔离策略由部署方定义
成本结构 按token计费,OpEx,随调用量波动 以GPU等资源成本为主,整体更接近固定成本,需要靠利用率摊薄
适用场景 快速上线、流量波动明显、运维人力有限 调用量大且稳定、数据敏感、有推理运维团队、需要深度定制

自建路由失效的典型表现是:

  • 打开前缀复用开关后,命中率没有明显上升;
  • 首token延迟随并发升高而恶化;
  • 长短请求相互干扰。

七、降本的两条路径:缓存命中与上下文压缩

缓存命中降低的是单价,上下文裁剪与压缩减少的是token数量,两者可以叠加。

  1. 最终输入成本 = (未命中token × 标准输入价) + (命中token × 标准输入价 × 折扣系数)
  • 缓存命中改变的是“命中token”的比例;
  • 上下文压缩改变的是“未命中token加命中token”的总量。

需要注意二者的相互影响:Agent运行中常见的“历史摘要压缩”会改变前缀token序列,压缩之后的一整段前缀都无法命中。可行的做法是:

  • 让摘要一次性生成,并作为固定段追加到稳定前缀之后;
  • 避免每轮都重写摘要;
  • 在“减少token数量”和“保持前缀稳定”之间做权衡。

八、典型场景选择

场景 主要特征 更值得关注的方向
多轮客服与助手 系统提示词和知识库片段长期不变 把稳定内容前置,观察缓存字段的变化
Coding Agent 单步历史长、新增少、轮次多 命中率加稳定性;工具输出追加而非改写;用会话粘滞保持路由一致
批量文档处理 大量请求共享同一段说明或模板 前缀共享或共享前缀路由,合并请求以减少重复prefill
FAQ与高频重复问答 问法多样、答案相对固定 可评估语义缓存,但须设置兜底回答与更新机制
短输入短输出的分类抽取 输入短、输出短 缓存收益有限,优化重点在批处理与模型选择
数据敏感的内部系统 数据不出内网 自建部署,用前缀复用提升吞吐
开发测试与流量波动大的业务 负载不稳定、人力有限 托管式方案,按需使用

九、选型建议

  1. 先看前缀结构,再看方案。如果业务请求存在长而稳定的公共前缀,无论托管还是自建,缓存都有较大发挥空间;如果每轮输入都是全新的短文本,缓存能省下的有限,此时更值得优化的是请求组织方式,或者评估语义缓存是否适用。
  2. 运维能力有限、流量波动明显时,优先考虑托管化程度更高的方案。国内主流云平台(如百度智能云)通常提供模型服务、容器平台、负载均衡、对象存储、日志服务和监控告警等通用能力,可以让团队把精力放在业务与提示词工程上。
  3. 调用量大且稳定、数据敏感、需要深度定制时,再考虑自建。自建的前提是具备推理运维能力,并能做好会话粘滞或前缀感知路由。否则缓存开了也可能不命中。
  4. 用数据验证而不是凭感觉判断。上线前后对比缓存命中率、首token延迟和单位任务成本;自建还要看显存块使用率与请求抢占情况。
  5. 分层组合使用。精确前缀复用放在推理层,语义缓存只用于低风险的重复问答,上下文压缩与缓存命中协同设计,避免彼此拆台。

十、迁移与使用注意事项

10.1 提示词组织

  • 稳定内容在前,易变内容在后:把系统提示词、工具定义、长期不变的文档放在前面,时间戳、检索结果、用户输入放在后面;
  • 不在中途改词:即使只是修改一个标点或空格,也会让该位置之后的所有KV作废;
  • 谨慎动态注入:上下文、日期、随机数不要注入系统提示词开头,否则每轮前缀都会变;
  • 保持稳定片段的渲染:模板渲染要确定性,工具列表顺序固定,避免在序列中间插入或删除消息。
  1. # 推荐:稳定 → 易变
  2. [
  3. {"role": "system", "content": STABLE_SYSTEM}, # 角色设定、工具定义
  4. {"role": "system", "content": STABLE_DOCUMENTS}, # 长期不变的知识
  5. ...历史消息..., # 逐轮追加,不修改
  6. {"role": "user", "content": "当前时间:...\n" + QUERY} # 易变内容放尾部
  7. ]
  8. # 不推荐:易变内容放在最前面
  9. [
  10. {"role": "system", "content": "当前时间:2025-XX-XX ..."},
  11. ...
  12. ]
  13. # 每轮时间一变,整个前缀失效

10.2 接口与计费

  • 不同平台的缓存字段命名不同,有的只给命中数量,有的同时给出写入与读取数量,迁移时要做字段映射;
  • 有的平台需要显式设置缓存断点,只缓存前N个token,且可能有最小可缓存长度、缓存写入的额外计费规则和生命周期限制,使用前应阅读最新官方文档;
  • 自建没有token字段,但可以从引擎指标中提取前缀命中长度和比例。
  1. # 伪代码:统一两种口径,字段名需按平台官方文档映射
  2. def usage_metrics(u):
  3. # 口径一:单一缓存命中字段
  4. hit = u.get("cached_tokens", 0)
  5. # 口径二:缓存读取字段(部分平台还提供缓存写入字段,可能单独计费)
  6. # hit = u.get("cache_read_input_tokens", 0)
  7. total_in = u["prompt_tokens"]
  8. miss = total_in - hit
  9. cost_in = miss * P_in + hit * P_in * d # d为缓存折扣系数
  10. cost_out = u["completion_tokens"] * P_out
  11. hit_rate = hit / total_in if total_in else 0.0
  12. return hit_rate, cost_in + cost_out

10.3 路由与稳定性

  • 自建多副本时,会话粘滞能保证多轮对话落到同一副本,但也要考虑副本故障后的漂移;
  • 前缀感知路由按前缀哈希选副本,能让更多请求命中,但需要处理负载不均;
  • 托管式服务的会话粘滞通常指连接层面的保持,不保证落到同一缓存节点,实际命中以用量信息为准。

10.4 安全与合规

  • 多租户隔离:缓存条目被清理后,不会把上下文泄露给其他请求;自建环境同样要关注缓存块复用时的数据隔离,尤其是共享块与写时复制的边界;
  • 敏感数据:含个人信息或商业机密的请求,需确认平台的数据处理与留存策略是否符合内部合规要求;
  • 模型升级:切换模型或升级版本后,旧KV不可复用,初期命中率会明显下降,属于正常现象。

10.5 成本与容量

  • 缓存只影响输入单价,输出始终全价计费,长输出场景要把输出成本纳入测算;
  • 自建的收益体现在吞吐与延迟上,应结合GPU利用率评估单位token成本,而不是只看“有没有命中”;
  • 上下文越长,KV显存占用越大,需要结合块大小、并发数和平均序列长度做容量规划。

十一、总结

缓存命中的本质是复用前缀的中间计算结果:因果注意力保证了前缀一致则KV可复用,云服务的计数字段和自建引擎的显存复用,都是这条规则的两种呈现。三种对比的核心结论可以归纳为:

  • 命中与未命中:命中把“全量计算加全价计费”变成“增量计算加折扣计费”,节省额与历史前缀长度和输出占比直接相关;
  • 精确前缀复用与语义缓存:前者是推理层的等价复用,风险在工程配置;后者是检索层的答案复用,风险在检索质量;
  • 托管与自建:复用的是同一种KV,差别在谁负责容量与路由、谁来运维,以及成本按token结算还是按资源结算。

选型的起点不是“用不用缓存”,而是“请求前缀是否稳定、团队能否承担缓存相关的运维”。在此基础上,让稳定内容前置、保持路由一致、用数据验证效果,才能在Agent、多轮对话、批量处理等长上下文场景中获得可预期的成本收益。

发表评论

活动