logo

长上下文KV缓存选型:两类方案显存与风险对比

作者:公子世无双2026.11.16 11:20浏览量:0

简介:本文对比跨层KV复用加4bit压缩与BF16标准路线两条方案,给出显存公式、延迟口径、按业务负载的选型清单、风险提示和复测步骤。读者可据并发、成本和精度要求判断适合哪一种,并避免直接采用未经实测的数字。

一、口径与假设

选型前要先统一指标。否则两个方案的数字无法比较。下表列出本文使用的五项指标,以及复测时的采集方式。

指标 定义 采集方式 主要影响因素
首token延迟(TTFT) 请求到达到输出第一个token的时间 记录p50与p95 预填充计算量
每token延迟(TPOT) 解码阶段每生成一个token的平均时间 记录p50与p95 每步读取的历史KV字节数
单卡并发 扣除权重和运行时开销后,单卡能同时容纳的请求数 逐步加压至显存或p95超阈值 单请求KV大小
显存占用 单请求KV缓存大小,以及前缀缓存落到外部存储时的容量 记录峰值与稳态值 保存KV的层数、精度
单位token成本 每百万token的硬件折算费用 按小时价与吞吐计算 吞吐、硬件单价

本文所有数字都来自公式推导,没有实测数据。下面的假设要明确记住:

  1. 每层每token的K与V合计占2048字节。这对应一种可能的配置:4个KV头,每头128维,BF16存储。实际配置需以模型为准。
  2. 方案B的模型名称、版本和层数未知。本文换算时假设为40层,并在公式处保留层数变量。
  3. 方案A同样假设为40层,但四类层各自的数量未知,因此实际保存KV的层数无法直接算出。

二、两类方案分别做了什么

下表概括两者的主要差异。

项目 方案A:跨层复用与4bit 方案B:BF16标准
层间关系 层分为滑窗层、完整层、重索引层、复用层 每层独立计算注意力,保存自己的K和V
主KV精度 FP4,每16个通道共享一个E4M3缩放因子 BF16
预填充 只运行前半部分层,再补算末尾128个token的滑窗KV 完整运行所有层
额外结构 索引键与top-512选取 无
训练与部署 训练阶段已用该格式,部署时无需额外训练后量化 标准路线

方案A包含三项改动。

第一,跨层KV复用。只有少数重索引层保存索引键,并对每个查询选出512个最相关的历史位置参与注意力。复用层直接使用前面层算好的KV和选取结果,不再重复计算或保存。

第二,解码器跳层预填充。前20层作为编码器,后20层作为解码器。解码器所需的全局KV由第20层统一生成。这样预填充只需运行前半部分层,外加末尾128个token的滑窗KV。

第三,原生4bit KV。主KV以FP4存储,每16个通道共享一个E4M3缩放因子。

三、显存与延迟怎么估

3.1 符号与公式

  • L:保存KV的层数
  • b:每层每token的KV字节数,本文取2048
  • r:相对BF16的存储比例,方案B为1,方案A为0.28125
  • T:token数

单请求KV字节 = L × b × r × T

输出单位换算:1 GiB = 2^30字节,1 GB = 10^9字节。下文统一用GiB。

3.2 方案B的显存示例

若按40层、128K(131072个token)计算:

40 × 2048 × 131072 = 10,737,418,240 字节,约合10 GiB。

这个数字只说明量级。实际显存还包括模型权重、激活值、框架开销和索引键等。

3.3 FP4的存储比例

FP4每个元素占4比特。缩放因子为E4M3,占8比特,摊到每16个通道上,每个元素增加0.5比特。合计约4.5比特。

4.5 ÷ 16 = 28.125%

同样的层数和token数下,主KV字节约为方案B的28%,节省约72%。这一比例只针对主KV,不包括索引键和元数据。

3.4 方案A的显存估算

方案A的单请求KV字节为:L × 2048 × 0.28125 × T。

由于四类层的数量未知,下表给出几种假设值。表中结果不来自参考材料,只用于说明L变化时的数量级。

假设的保存KV层数L 128K单请求主KV(GiB) 相对方案B
40(无复用的上限) 2.81 约28%
20 1.41 约14%
10 0.70 约7%

实际数值取决于复用层与重索引层的划分。复测时应直接统计每层保存的字节数,不要用上表代替。

3.5 预填充计算量的粗估

若只按层数估计,方案A预填充的计算比例约为:

0.5 + 0.5 × 128 ÷ T

T为131072时,比例约为0.50。该估算假设计算量与层数成正比,忽略了注意力随序列长度变化的差异,因此只能作为方向参考。

3.6 解码阶段的读取量

TPOT主要取决于每一步从显存读取的KV字节数。可用下面的公式比较两者:

每步读取字节 ≈ 求和(每层可见位置数 × b × r)

方案B的完整层需要读取全部历史位置。方案A的重索引层只读取512个选中位置,滑窗层只读取窗口内的位置。这一差异会随上下文变长而放大,但具体收益要靠实测确认。

四、按业务负载选型

下表给出常见场景的倾向。它只是起点,最终要在自己的负载上验证。

业务情况 倾向 理由 上线前需验证
上下文较短(8K以内)、并发不高 方案B 实现简单,显存压力小 基本功能即可
长上下文(64K以上)、显存限制并发 方案A优先评估 单请求KV显著变小 最大并发与精度
合同、病历、代码库问答等高精度场景 方案B作基线 精度风险较低 方案A需通过长文召回测试
前缀缓存需要大量外部存储 方案A较有吸引力 存储容量需求下降 缓存命中率
框架、驱动和内核维护能力有限 方案B 依赖少 方案A的跳层与FP4支持

成本可以按下面的公式折算:

每百万token成本 = 每小时硬件价格 ÷ (吞吐,单位token每秒 × 3600) × 10^6

举例:每小时价格10元,吞吐2000 token/s。则每百万token成本为 10 ÷ (2000 × 3600) × 10^6,约1.39元。这组数字只为演示公式,并非实测。

选型时应同时比较三件事:最大并发、p95延迟和精度。只看单项指标容易做出错误判断。

五、风险与复测步骤

5.1 主要风险

  • FP4精度:在长尾任务和数值敏感任务上可能出现下降,需用自有评测集对比。
  • top-512选取:相关信息若分散在很多位置,选取可能漏掉关键内容。
  • 跳层预填充:依赖具体实现,框架升级后可能出现兼容问题。
  • 显存口径:不要把72%当作总显存节省。权重、激活、框架开销和索引键仍占用显存。

5.2 复测清单

  1. 记录硬件型号、显存、驱动版本、CUDA版本、框架版本和模型权重版本。
  2. 设定输入长度分组,例如8K、32K、128K各一组,并固定输出长度。
  3. 预热后,每组至少运行3轮,取中位数,同时报告p50与p95。
  4. 并发按1、2、4、8逐级加压,直到显存耗尽或p95 TPOT超过阈值,记录最大并发。
  5. 采集TTFT、TPOT、吞吐(token/s)、显存峰值和错误率。
  6. 用自有长文评测集比较精度,报告与方案B的差值和样本数。
  7. 报告标准差或置信区间。单次测量结果不作为结论。
  8. 保留方案B配置,通过开关切换。先以小比例流量灰度,再逐步扩大。

发表评论

活动