长上下文KV缓存选型:两类方案显存与风险对比
作者:公子世无双2026.11.16 11:20浏览量:0简介:本文对比跨层KV复用加4bit压缩与BF16标准路线两条方案,给出显存公式、延迟口径、按业务负载的选型清单、风险提示和复测步骤。读者可据并发、成本和精度要求判断适合哪一种,并避免直接采用未经实测的数字。
一、口径与假设
选型前要先统一指标。否则两个方案的数字无法比较。下表列出本文使用的五项指标,以及复测时的采集方式。
| 指标 | 定义 | 采集方式 | 主要影响因素 |
|---|---|---|---|
| 首token延迟(TTFT) | 请求到达到输出第一个token的时间 | 记录p50与p95 | 预填充计算量 |
| 每token延迟(TPOT) | 解码阶段每生成一个token的平均时间 | 记录p50与p95 | 每步读取的历史KV字节数 |
| 单卡并发 | 扣除权重和运行时开销后,单卡能同时容纳的请求数 | 逐步加压至显存或p95超阈值 | 单请求KV大小 |
| 显存占用 | 单请求KV缓存大小,以及前缀缓存落到外部存储时的容量 | 记录峰值与稳态值 | 保存KV的层数、精度 |
| 单位token成本 | 每百万token的硬件折算费用 | 按小时价与吞吐计算 | 吞吐、硬件单价 |
本文所有数字都来自公式推导,没有实测数据。下面的假设要明确记住:
- 每层每token的K与V合计占2048字节。这对应一种可能的配置:4个KV头,每头128维,BF16存储。实际配置需以模型为准。
- 方案B的模型名称、版本和层数未知。本文换算时假设为40层,并在公式处保留层数变量。
- 方案A同样假设为40层,但四类层各自的数量未知,因此实际保存KV的层数无法直接算出。
二、两类方案分别做了什么
下表概括两者的主要差异。
| 项目 | 方案A:跨层复用与4bit | 方案B:BF16标准 |
|---|---|---|
| 层间关系 | 层分为滑窗层、完整层、重索引层、复用层 | 每层独立计算注意力,保存自己的K和V |
| 主KV精度 | FP4,每16个通道共享一个E4M3缩放因子 | BF16 |
| 预填充 | 只运行前半部分层,再补算末尾128个token的滑窗KV | 完整运行所有层 |
| 额外结构 | 索引键与top-512选取 | 无 |
| 训练与部署 | 训练阶段已用该格式,部署时无需额外训练后量化 | 标准路线 |
方案A包含三项改动。
第一,跨层KV复用。只有少数重索引层保存索引键,并对每个查询选出512个最相关的历史位置参与注意力。复用层直接使用前面层算好的KV和选取结果,不再重复计算或保存。
第二,解码器跳层预填充。前20层作为编码器,后20层作为解码器。解码器所需的全局KV由第20层统一生成。这样预填充只需运行前半部分层,外加末尾128个token的滑窗KV。
第三,原生4bit KV。主KV以FP4存储,每16个通道共享一个E4M3缩放因子。
三、显存与延迟怎么估
3.1 符号与公式
- L:保存KV的层数
- b:每层每token的KV字节数,本文取2048
- r:相对BF16的存储比例,方案B为1,方案A为0.28125
- T:token数
单请求KV字节 = L × b × r × T
输出单位换算:1 GiB = 2^30字节,1 GB = 10^9字节。下文统一用GiB。
3.2 方案B的显存示例
若按40层、128K(131072个token)计算:
40 × 2048 × 131072 = 10,737,418,240 字节,约合10 GiB。
这个数字只说明量级。实际显存还包括模型权重、激活值、框架开销和索引键等。
3.3 FP4的存储比例
FP4每个元素占4比特。缩放因子为E4M3,占8比特,摊到每16个通道上,每个元素增加0.5比特。合计约4.5比特。
4.5 ÷ 16 = 28.125%
同样的层数和token数下,主KV字节约为方案B的28%,节省约72%。这一比例只针对主KV,不包括索引键和元数据。
3.4 方案A的显存估算
方案A的单请求KV字节为:L × 2048 × 0.28125 × T。
由于四类层的数量未知,下表给出几种假设值。表中结果不来自参考材料,只用于说明L变化时的数量级。
| 假设的保存KV层数L | 128K单请求主KV(GiB) | 相对方案B |
|---|---|---|
| 40(无复用的上限) | 2.81 | 约28% |
| 20 | 1.41 | 约14% |
| 10 | 0.70 | 约7% |
实际数值取决于复用层与重索引层的划分。复测时应直接统计每层保存的字节数,不要用上表代替。
3.5 预填充计算量的粗估
若只按层数估计,方案A预填充的计算比例约为:
0.5 + 0.5 × 128 ÷ T
T为131072时,比例约为0.50。该估算假设计算量与层数成正比,忽略了注意力随序列长度变化的差异,因此只能作为方向参考。
3.6 解码阶段的读取量
TPOT主要取决于每一步从显存读取的KV字节数。可用下面的公式比较两者:
每步读取字节 ≈ 求和(每层可见位置数 × b × r)
方案B的完整层需要读取全部历史位置。方案A的重索引层只读取512个选中位置,滑窗层只读取窗口内的位置。这一差异会随上下文变长而放大,但具体收益要靠实测确认。
四、按业务负载选型
下表给出常见场景的倾向。它只是起点,最终要在自己的负载上验证。
| 业务情况 | 倾向 | 理由 | 上线前需验证 |
|---|---|---|---|
| 上下文较短(8K以内)、并发不高 | 方案B | 实现简单,显存压力小 | 基本功能即可 |
| 长上下文(64K以上)、显存限制并发 | 方案A优先评估 | 单请求KV显著变小 | 最大并发与精度 |
| 合同、病历、代码库问答等高精度场景 | 方案B作基线 | 精度风险较低 | 方案A需通过长文召回测试 |
| 前缀缓存需要大量外部存储 | 方案A较有吸引力 | 存储容量需求下降 | 缓存命中率 |
| 框架、驱动和内核维护能力有限 | 方案B | 依赖少 | 方案A的跳层与FP4支持 |
成本可以按下面的公式折算:
每百万token成本 = 每小时硬件价格 ÷ (吞吐,单位token每秒 × 3600) × 10^6
举例:每小时价格10元,吞吐2000 token/s。则每百万token成本为 10 ÷ (2000 × 3600) × 10^6,约1.39元。这组数字只为演示公式,并非实测。
选型时应同时比较三件事:最大并发、p95延迟和精度。只看单项指标容易做出错误判断。
五、风险与复测步骤
5.1 主要风险
- FP4精度:在长尾任务和数值敏感任务上可能出现下降,需用自有评测集对比。
- top-512选取:相关信息若分散在很多位置,选取可能漏掉关键内容。
- 跳层预填充:依赖具体实现,框架升级后可能出现兼容问题。
- 显存口径:不要把72%当作总显存节省。权重、激活、框架开销和索引键仍占用显存。
5.2 复测清单
- 记录硬件型号、显存、驱动版本、CUDA版本、框架版本和模型权重版本。
- 设定输入长度分组,例如8K、32K、128K各一组,并固定输出长度。
- 预热后,每组至少运行3轮,取中位数,同时报告p50与p95。
- 并发按1、2、4、8逐级加压,直到显存耗尽或p95 TPOT超过阈值,记录最大并发。
- 采集TTFT、TPOT、吞吐(token/s)、显存峰值和错误率。
- 用自有长文评测集比较精度,报告与方案B的差值和样本数。
- 报告标准差或置信区间。单次测量结果不作为结论。
- 保留方案B配置,通过开关切换。先以小比例流量灰度,再逐步扩大。

登录后可评论,请前往 登录 或 注册