混合注意力的KV Cache：前缀命中不等于正确

一、被长期默认的前提：前缀相同，缓存即可复用

现代大模型推理服务普遍采用分页式KV Cache管理：将token历史切分为固定大小的逻辑页，通过页表映射到物理显存块；共享相同前缀的请求直接指向同一批物理块，仅在序列分叉处触发写时复制。这套机制带来两个直接收益——显存占用大幅下降、长前缀请求的首token延迟显著缩短。

在所有层都采用同一种全注意力的模型里，这条规则近乎无懈可击：相同的token序列经过相同的层，必然产生确定且不可变的KV状态。因此“前缀哈希相等”既是复用的充分条件，也天然保证了计算正确性。长期以来，前缀命中率被默认当作效率与正确性的双重代理指标：只要命中，就能接着算。

二、边界条件：混合注意力为何让规则失效

新一代模型开始在不同层混用多种注意力形式：部分层对全历史做压缩表示，部分层只维护一个滑动窗口，还有部分层通过索引器（indexer）做稀疏路由，仅让被选中的token参与计算。这类混合注意力设计显著降低了长上下文的推理开销，却也动摇了前缀复用的根基。

原因在于：同一段前缀在不同层留下的“痕迹”不再是同一种对象。压缩层关心压缩块是否生成完毕；滑窗层只保留窗口内的最近KV，窗口之外的部分已被物理淘汰；稀疏路由层则依赖与KV同步演化的索引状态。于是“前缀相同”只保证了逻辑上看过同样的token，却不保证这些token在各层以同一种可复用的形态存在。哈希命中从充分条件退化为必要条件——这是命中率指标与正确性第一次出现实质分离。

三类典型输入会共同把缓存状态推向单一规则无法覆盖的局面：

• 混合注意力的三类机制在同一模型内混用；
• 超长上下文（如百万级token）超出单卡显存容量，部分前缀被迫下沉到二级存储；
• 跨请求前缀复用让不同生命周期的缓存对象互相纠缠。

三、五种异构缓存状态：生命周期、恢复条件与命中判定

可以把推理框架想象成一个物流仓：普通模型里，凭单号到货架取件即可；混合注意力下，取件前要确认五件事——包裹是否已被合并打包、最近几件是否还在暂存区、保管期是否已过、拣货清单是否同步、是否被转移到了远端仓还没运回来。五件事全部确认可恢复，才算真的能“接着读”。

对应到缓存对象，serving过程必须显式追踪五种状态：

1. compressed KV（压缩历史块）：较早的token已被压缩为合并表示。恢复条件是压缩块完整且能被当前算子直接消费；命中判定要求压缩块在位、校验通过。
2. uncompressed tail（未压缩尾部）：最近若干token尚未触发压缩，必须与压缩部分拼接才构成完整上下文。恢复条件是尾部连续且与压缩块边界对齐；命中判定要求尾部覆盖到请求的实际分叉点。
3. SWA window（滑窗窗口）：滑窗层只保留窗口内KV，越界部分已被物理淘汰。恢复条件是窗口内容与当前序列位置一致；命中判定要求“所需上下文全部落在窗口覆盖范围内”，任何越界引用都不可恢复。
4. indexer state（索引器状态）：稀疏路由依赖的索引与统计量。恢复条件是索引状态与KV同步重建；命中判定要求路由结果与逐步编码时一致，否则选中的token子集会漂移，生成结果悄然出错。
5. on-disk prefix（盘上前缀）：被下放到二级存储的前缀。恢复条件是完成显式回迁并重新通过硬件对齐校验；命中判定要求“命中且已驻留”，命中但未驻留只能算部分命中。

这五种对象的生命周期、淘汰策略、恢复路径完全不同：有的随位置推进单调演化（tail、window），有的按块粒度惰性生成（compressed KV），有的必须与KV原子同步（indexer state），有的涉及跨介质搬运（on-disk prefix）。异构性本身不是问题，问题在于下游是否把它们当作同一种东西对待。

四、allocator的职责升级：从“找空块”到“状态机”

传统分配器只承担一个动作：为新token挑选空闲物理块写入。前缀匹配是与之平行的另一个动作：按哈希查表、报命中、挂引用。两件事彼此独立，配合同构缓存足够好用。

缓存对象一旦异构，这套分工立刻不够用：分配器不能只记录“这块显存被谁占用”，还必须为每段token记录“当前处于五种形态中的哪一种、恢复到可用还需要哪些前置动作”。否则就会出现最隐蔽的一类故障——前缀匹配按哈希报命中，实际读取时却缺尾部、缺窗口或缺索引状态，生成结果错误且难以复现，因为故障取决于当时各对象的恢复进度，而非请求本身。

一个可验证的复用判定大致如下：

def classify_reuse(prefix_hash, need_span):
    entry = cache_table.lookup(prefix_hash)   # 哈希命中只是第一步
    if entry is None:
        return "MISS"
    checks = {
        "compressed_kv": entry.comp_blocks.intact,
        "tail":          entry.tail_covers(need_span.fork_point),
        "swa_window":    entry.window_covers(need_span),
        "indexer":       entry.index_state.synced_with_kv,
        "on_disk":       entry.resident or entry.can_fetch(),
    }
    if all(checks.values()):
        return "HIT"              # 五态齐备，可直接接着算
    return "PARTIAL"              # 命中但需先走恢复路径

关键设计点在于把“命中”从布尔值升级为三态：MISS / PARTIAL / HIT。PARTIAL意味着可以复用，但必须先执行对应的恢复动作，并接受恢复期间的资源与延迟成本。

五、命中判定的四层校验

即便五种状态齐备，“直接接着算”之前仍要通过四层校验，任何一层不过关都应降级为PARTIAL：

1. 整块校验（粒度对齐）：不同缓存组的块粒度可能不一致，复用判定应以各组粒度的最小公倍为单位做整块校验，杜绝“半块命中”造成的边界错位。
2. 算子内核ABI兼容：内核对输入布局、步长、精度有静态约定，恢复出的缓存必须与当前内核期望的二进制接口完全一致，否则数值正确性无从谈起。
3. 多缓存组状态交集：模型各层分属不同缓存组，整体可复用的条件是所有组的状态都可恢复——取交集而非并集。任何一组落在窗口之外或索引未同步，整体即不可直接复用。
4. 字节级硬件对齐：地址与页对齐决定了恢复路径能否零拷贝执行。对齐不满足时，必须回退到搬运加重排的慢路径，并把这笔成本计入调度决策。

六、allocator状态机不能违反的四道一致性底线

• 准入上限（admission cap）：恢复路径本身也要消耗显存与带宽，必须设置准入上限，防止“为了恢复前缀而把在线请求挤爆”的自我攻击。
• 五种状态分流：写入、恢复、淘汰必须按状态各走各的路径。用滑窗的淘汰策略去处理压缩块、用整块回迁的方式处理索引状态，都会破坏不变量。
• TOCTOU防护：从校验通过到实际使用之间，状态可能被并发请求修改。需要通过状态数据指针在校验时固定快照、在使用时核对版本，消除“检查时在、使用时无”的竞态窗口。
• 静态计算图约束：图捕获与重放要求拓扑静态，而恢复路径本质上是动态分支。工程上要么把恢复完整地放在图外执行，要么以固定形状、固定分支数的方式呈现给图，绝不能让图内出现不可预测的分支与形状。

七、工程启示：把命中率拆成两个指标

混合注意力不是对缓存系统的否定，而是对其提出了更精确的要求。实践上建议：

• 指标拆分：将“逻辑命中率”（哈希命中）与“可恢复命中率”（五态齐备且四层校验通过）分开统计与告警，二者的差值就是系统在悄悄支付的恢复成本。
• 观测按状态分维度：五种状态各自的数量、驻留时长、恢复耗时单独建模，才能定位“为什么命中了却变慢或出错”。
• 故障注入测试：针对每种状态构造“缺一格”的场景（缺尾部、窗口越界、索引失同步、盘上未回迁），验证系统是否一致地降级为PARTIAL而不是错算。
• 容量规划纳入恢复成本：盘上前缀的回迁带宽、压缩块的处理开销都应进入调度与SLO计算。

一句话总结：在单一全注意力的时代，前缀命中约等于可以接着算；在混合注意力的时代，命中只说明“逻辑上见过”，能否接着算取决于五种状态能否按各自规则恢复、并通过四层校验与四道一致性底线。把这条链路显式建模出来，命中率才能重新成为一个可信的效率指标——而不是一个伪装成正确性指标的风险源。