AI芯片中L2 Cache的价值与选型判断
作者:问题终结者2026.11.18 12:07浏览量:0简介:本文重新评估AI芯片中的L2 Cache,解释它是什么、小Batch Decode为何质疑大L2,并用路线对比表与选型清单帮助读者判断何时依赖共享缓存、近计算SRAM或显式DMA。读者可掌握工作集、搬运量与带宽收益的量化思路。
一、L2 Cache是什么?它到底在缓存什么?
L2 Cache(二级缓存)是位于计算核心与主存之间的高速缓存层。这里的主存通常包括HBM、DDR等大容量存储介质。L2 Cache通常由SRAM实现,容量大于L1,但小于主存;延迟高于L1,但低于HBM。它的核心作用不是直接提升算力,而是降低数据搬运成本:让更可能被复用的数据停留在离计算单元更近的位置,从而减少访问慢速主存的次数。
在传统CPU、GPU以及很多AI加速器中,L2 Cache主要承担两类角色。第一,它缓存核心频繁访问的数据,利用时间和空间局部性提高访存效率。第二,它常作为共享层,让多个计算单元、多个Core或多个Tensor Core访问同一份数据时不必反复回到HBM。
理解L2 Cache的关键,是先分清两件事:它是什么,以及它解决什么问题。存储层次越靠近计算单元,容量越小、带宽越高、延迟越低;越远则容量越大、带宽越低、延迟越高。L2 Cache本质上是在容量和速度之间做权衡,试图让尽可能多的热数据留在计算单元附近。
二、小Batch Decode为何质疑大L2?
AI芯片中关于L2 Cache的争议,主要来自一类典型负载:小Batch、大语言模型推理解码的Decode阶段。要理解这种争议,需要先看清它的数据特征。
第一,模型权重体积很大。几十亿甚至上百亿参数的模型,其权重可能达到几十GB甚至上百GB,通常只能放在HBM中。
第二,每个Decode step通常需要遍历相关权重;若存在批内多请求/连续批处理,权重可被共享,复用取决于批大小、路由与调度。在严格的小Batch、单请求、低复用场景中,Decode的权重访问更接近streaming(流式访问):数据刚被读取,可能很快又被下一轮访问覆盖。
第三,KV Cache会随着上下文长度增长而不断膨胀。上下文越长,注意力机制需要保存和读取的Key-Value越多,额外增加了显存压力。
在这样的负载下,一个容量只有几十MB的L2 Cache会面临一个现实问题:工作集太大,缓存放不下。对于小Batch Decode,权重流式读取、KV Cache持续增长,数据复用窗口可能很短。若刚搬入的数据很快被挤出,局部性就会被削弱,缓存带来的收益也会被摊薄。
更重要的是,大共享L2并不是免费的。它需要SRAM面积,也需要tag array、替换算法、MSHR、writeback buffer,以及在多计算单元共享时的缓存一致性维护与仲裁逻辑。如果这些机制的主要工作只是把数据从HBM搬进来,再很快赶出去,那么其面积和功耗成本就容易被质疑。这也是为什么一些面向AI的专用ASIC或NPU会弱化传统大共享L2。
三、AI芯片是否抛弃了大L2?三条路线如何对比?
如果把“小Batch Decode对大L2不友好”直接外推成“AI芯片越来越不需要L2 Cache”,结论会站不住脚。现实更接近另一种情况:行业没有抛弃L2 Cache,而是在重新组织它。不同架构路线并非简单谁替代谁,而是围绕“如何降低数据搬运成本”给出不同答案。
下面将共享L2增强、近计算SRAM分散、HBM中心化重组三条路线合并为一张对比表:
| 路线 | 代表形态 | 面积/功耗成本 | 编程复杂度 | 适用负载 | 关键判断 |
|---|---|---|---|---|---|
| 共享L2增强派 | 主流GPU、通用AI加速器中保留并扩大共享L2,同时向软件开放L2 residency control(缓存驻留控制)能力 | 面积和功耗成本较高,容量越大越昂贵;但能减少多计算单元之间重复访存 | 低至中:硬件自动缓存,软件可选择性管理驻留 | 通用AI负载、可移植性要求高的平台、批内存在一定复用的场景 | 若热点数据可被缓存或软件可控制其驻留,大共享L2仍有明显价值 |
| 近计算SRAM分散派 | 张量处理架构、众核架构、晶圆级架构等,将大量SRAM布置在计算单元附近,通过DMA、NoC和编译器调度搬运数据 | 面积可按计算分区规划,可能减少无效缓存开销;功耗与编排效率强相关 | 高:通常需要编译器、运行时或程序员显式安排数据驻留 | 数据流较静态、算子链可预测、片上复用关系清晰的AI任务 | 若可静态分析且复用路径明确,近计算SRAM往往更高效 |
| HBM中心化重组派 | AI Core保留L1与乱序执行,但围绕HBM切片、数据放置、预取和专用通信网络重新组织存储层次 | 降低对单一大共享L2的依赖,但HBM带宽、DMA效率和调度质量成为关键 | 高:需要软硬协同,对编译器、内存放置和预取策略要求较高 | 工作集巨大、可静态分析、以训练或大规模推理为主的场景 | 若搬运路径可优化,收益来自减少无效流量和更好利用HBM带宽 |
从这张表可以看出,真正变化的不是“要不要缓存”,而是缓存的管理重心:从单纯依赖硬件自动管理,转向软硬件协同;从把所有核心挂在一个大共享缓存后面,转向围绕计算单元、HBM切片和显式数据编排重新组织存储层次。
四、缓存层次如何决定收益?用一个估算示例看清边界
无论采用哪种架构路线,底层原理都一致:存储层次是一场关于延迟、带宽和容量的三角权衡。计算单元只在L1附近以极高带宽取数;越远的地方,越慢、越宽、越依赖调度。
可以用一个简化关系判断缓存价值:
有效访存收益 ≈ 命中带来的加速 - 搬运与管理的开销
当命中率高、复用充分时,缓存收益显著;当命中率低、访问近似纯流式时,缓存收益会被摊薄,甚至可能变成负收益。L2 Cache或等价的片上SRAM池是否值得投入,取决于目标负载的复用程度。
对于反复访问同一批权重的负载,例如权重长时间驻留、多算子共享同一张量、批内多个请求共享模型参数,缓存命中率高,收益更明显。
对于一次性流式扫描大工作集的负载,例如小Batch Decode,复用窗口较短,缓存命中率低,收益有限。
为了量化边界,可以引入一个粗略估算:
单请求每step权重读取量 ≈ 参数量 × 每参数字节数每个输出token摊薄权重读取量 ≈ 权重字节数 ÷ 有效batch
以一个简化的示例说明:假设一个70亿参数模型,使用FP16,每参数约2字节,则权重总量约为14GB。若HBM带宽约为2TB/s:
- 若batch=1,每个token生成通常需要读取约14GB权重。仅从权重读取估算,理论上限约为2000GB/s ÷ 14GB/token ≈ 143 tokens/s。
- 若batch=8,且同一step内多个请求共享权重读取,则每个token摊薄后的权重读取量约为14GB ÷ 8 = 1.75GB。理论上限约为2000GB/s ÷ 1.75GB/token ≈ 1143 tokens/s。
这个估算忽略了KV Cache、激活值、临时缓冲、调度开销、功耗限制和通信开销,但它揭示了一个重要边界:batch越大、复用越多,缓存和权重共享越容易摊薄搬运成本;batch越小、模型越大、权重复用越不足,大L2 Cache越难单独解决问题。
五、如何按场景选L2、近计算SRAM或显式DMA?
选型时,不建议只问“L2 Cache越大越好还是越小越好”,而应按以下清单逐步判断。
第一步:先检查工作集是否超过共享SRAM
盘点目标负载的数据规模,包括模型权重、KV Cache、激活值、临时张量和通信缓冲。如果关键数据能够常驻L2或近计算SRAM,缓存收益较高;如果工作集远大于缓存容量,就必须考虑驻留控制、显式DMA、HBM数据放置或预取策略。
第二步:再估算每token或每step权重搬运字节
基础公式为:
权重字节数 = 参数量 × 每参数字节数每token摊薄字节数 = 权重字节数 ÷ 有效batch
如果存在MoE路由、连续批处理、多请求共享或动态调度,还要根据实际路由比例和调度策略修正。不能只按标称参数量计算,也要考虑实际被激活或访问的权重范围。
第三步:再看HBM带宽利用率与算子复用度
如果HBM带宽已经接近饱和,那么增加缓存容量未必能突破带宽瓶颈,此时更重要的是减少无效搬运、提高压缩效率、优化数据放置和提升DMA效率。
如果算子复用度高,例如多个算子共享同一批权重或激活,那么L2或近计算SRAM更容易产生收益。
如果算子复用度低,访问近似流式,那么大共享L2的收益可能被摊薄,软件驻留控制和显式数据编排的重要性反而上升。
第四步:最后决定L2、近计算SRAM或显式DMA
一般可参考以下判断:
- 通用、多变、可移植性要求高的负载:优先保留较大共享L2,并配合软件驻留控制。
- 静态、可预测、数据流清晰的负载:优先考虑近计算SRAM、DMA和编译器显式调度。
- 工作集巨大、可静态分析、训练或大规模推理场景:可考虑HBM中心化重组,重点优化数据放置、预取和专用通信网络。
六、典型场景与选型建议
1. 模型训练
训练任务的工作集通常较大,算子之间数据依赖强,中间结果经常需要在不同算子之间传递。显式数据编排和近计算SRAM有利于减少重复搬运,提高复用效率。但训练也涉及复杂反向传播、梯度更新和并行策略,因此需要综合考虑通信、存储和调度成本。
2. 大模型推理,尤其是Decode阶段
Decode阶段的权重复用度会显著影响架构选择。若小Batch、低复用、权重未充分量化,那么单靠大L2 Cache并不能解决HBM带宽瓶颈。此时应优先提升HBM带宽利用率、减少无效搬运,并通过权重量化、批处理、连续批处理、KV Cache优化和缓存驻留策略提升整体效率。
若批内多请求可以共享权重,且调度策略合理,那么L2 Cache或近计算SRAM的价值会重新提升。
3. 通用或负载多变的AI平台
如果目标场景覆盖多种模型、多种算子和不同批大小,保留较大共享L2并开放软件驻留控制,通常能获得更好的鲁棒性和可移植性。显式数据管理虽然效率高,但编程和编译复杂度也更高,不适合所有产品阶段。
七、相关概念辨析
为了避免把不同层级和不同机制的存储混为一谈,可以区分以下几个关键概念。
| 概念 | 本质 | 管理方式 | 主要优势 | 主要局限 |
|---|---|---|---|---|
| L1 vs L2 | L1更靠近核心,通常更小更快;L2更大更慢,常作为共享层 | 硬件自动管理为主 | 降低访存延迟,提升局部性收益 | L2容量有限,对超大工作集可能不够用 |
| 共享L2 | 多计算单元共享的高速缓存 | 硬件自动管理,可配合软件驻留控制 | 通用性强,编程负担较低 | 面积和功耗成本较高,低复用负载收益有限 |
| 近计算SRAM | 靠近计算单元的可寻址或半可寻址SRAM | 编译器、程序员、DMA或运行时显式管理 | 确定性强,贴近计算,减少无效访存 | 编程和编译复杂度较高 |
| Cache vs Scratchpad | Cache是硬件自动镜像主存;Scratchpad是显式可寻址存储 | Cache对软件透明;Scratchpad由软件显式读写 | Cache方便;Scratchpad确定 | Scratchpad需要更复杂的数据编排 |
| KV Cache vs 模型权重 | KV Cache是推理时动态增长的激活数据;模型权重是静态参数 | KV Cache随上下文变化;权重通常可预加载或共享 | 权重可复用空间大;KV Cache影响长上下文成本 | 二者对缓存策略和内存预算要求不同 |
八、使用注意事项
第一,引用具体代际、容量、性能或产品前需核验型号、版本与测量口径。AI芯片的缓存配置、带宽和架构差异较大,不同代际、不同SKU、不同固件版本可能导致结果不同。
第二,避免以偏概全。不能因为小Batch Decode对大共享L2不友好,就断言所有AI场景都不需要L2 Cache。批内多请求、连续批处理、权重驻留和多算子共享都可能改变缓存价值。
第三,重点关注工作集与局部性。评估负载的复用程度,是判断缓存价值的前提。若数据规模超过共享SRAM,就必须考虑驻留控制或显式搬运。
第四,区分软硬件职责。共享缓存的驻留控制通常需要编译器和运行时配合。如果软件层面不主动干预,硬件自动替换策略未必适合AI负载。
第五,权衡面积与灵活性。显式编排效率高,但编程复杂度高;共享缓存通用,但面积成本大。架构选择应结合目标场景、产品阶段和软件生态。
第六,不要只看L2容量。性能由访存、计算、调度、批大小、精度、通信和内存带宽共同决定。单看L2容量一项,并不能判断整体性能优劣。
九、总结
回到最初的问题:L2 Cache在AI芯片中是否越来越不需要了?
更准确的答案是:它不是被抛弃,而是被重新定义和重新组织。在特定负载下,尤其是小Batch、权重未充分量化、以Decode为主且权重复用有限的场景,传统大共享L2的性价比确实会承压。这推动了行业向显式数据管理、近计算SRAM、HBM中心化重组等方向探索。
但同时,主流芯片仍然在大规模投入并强化共享缓存,并通过软件驻留控制让L2 Cache更适应AI负载。L2 Cache的本质价值始终是降低数据搬运成本。它在AI芯片中的存续与形态,取决于具体架构如何在容量、带宽、功耗和灵活性之间做取舍。
因此,选型时不应简单问“要不要L2 Cache”,而应进一步判断:工作集是否超过共享SRAM、每token或每step的权重搬运量有多大、HBM带宽利用率是否接近饱和、算子复用度是否足够高。只有把这些条件结合起来,才能更理性地判断L2 Cache、近计算SRAM或显式DMA在AI芯片中的价值边界。

登录后可评论,请前往 登录 或 注册