Transformer之后长上下文注意力的架构演进
作者:php是最好的2026.11.18 12:05浏览量:0简介:围绕"长上下文下注意力如何突破二次复杂度"这一核心问题,系统梳理稀疏注意力与线性注意力两条技术路线的数学原理与工程实现差异,并延伸介绍位置编码、归一化、激活函数与注意力头结构等配套改进。读者可据此建立清晰的选型认知,理解各自的能力边界与适用场景。
一、概念定义:什么是长上下文注意力架构演进
2017 年提出的 Transformer 架构,以自注意力(self-attention)为核心,奠定了此后主流深度模型的基础。但标准自注意力存在一个根本瓶颈:其计算与显存开销随序列长度 n 呈 O(n²) 增长。原因在于,注意力需要计算任意两个 token 之间的相关性,产生一个 n×n 的注意力矩阵。
所谓”长上下文注意力架构演进”,指的就是围绕如何缓解这一二次复杂度问题,以及围绕模型整体结构所做的系统性改进。在这个方向上,业界逐渐形成两条主流的注意力技术路线:稀疏注意力(Sparse Attention) 与 线性注意力(Linear Attention)。理解它们的区别,是把握长上下文建模能力边界的关键。
二、背景与价值:为什么要改进
标准注意力之所以昂贵,可从公式直观看出:
Attention(Q, K, V) = softmax(Q·Kᵀ / √d) · V
其中 Q、K 的维度为 n×d,Q·Kᵀ 直接产生 n×n 的矩阵,既带来 O(n²·d) 的计算量,也带来 O(n²) 的显存占用。当上下文从几千 token 扩展到几十万甚至更长时,这一开销迅速变得不可承受。长上下文能力的价值在于:让模型能够一次性处理长文档、长代码库、多轮对话历史等场景,因此降低注意力成本成为整个领域的共同目标。
三、核心路线一:稀疏注意力(Sparse Attention)
核心思想:不再让每个 token 与全部 token 计算相关性,而是只保留一部分”重要”的注意力连接,从而把 O(n²) 降到更低量级。
常见的稀疏模式包括:
- 局部窗口(Local / Sliding Window):每个 token 只关注邻近的固定数量 w 个 token,复杂度降为 O(n·w),局部性极强;
- 全局 token(Global):少数特殊 token 与全序列交互,起到信息汇聚作用;
- 跨步与随机连接(Strided / Random):通过分层或随机采样,让信息能跨越较远距离传播;
- 内容自适应稀疏(Content-based):依据查询与键的实际相似度动态决定保留哪些连接。
数学视角:稀疏注意力的关键在于,它并不改变注意力的”形式”,只是在矩阵上做稀疏化。若稀疏度为常数,复杂度可从 O(n²) 降至近似线性或 O(n·√n)。理论上,只要连接模式设计得当(局部+全局+随机),仍能逼近全注意力的表达能力,因此在需要精确检索的场景中表现稳健。
工程(Infra)视角:稀疏的代价在于不规则的访存。gather/scatter 类操作会打乱连续内存访问,难以充分利用硬件的并行吞吐,内核(kernels)实现也更复杂。此外,稀疏模式多为人工设计,对硬件的适配程度直接决定实际加速比。
四、核心路线二:线性注意力(Linear Attention)
核心思想:用核函数近似 softmax,从而利用矩阵乘法的结合律,把复杂度降到 O(n·d²),即真正对序列长度线性。
其数学变换是核心:
标准注意力: (softmax(Q·Kᵀ)) · V # 先算 n×n 矩阵,O(n²)线性注意力: φ(Q) · (Kᵀ · V) # 调整计算顺序,无 n×n 矩阵
关键技巧在于用特征映射 φ(·) 近似 softmax 的指数相似度,使得 φ(Q)·Kᵀ 可以重排为先计算 Kᵀ·V(维度 d×d)。这样注意力输出可表示为一个 d×d 的状态矩阵 与查询的内积。
对于自回归(因果)场景,这个 d×d 状态可以按 token 逐个累加更新:
S_i = S_{i-1} + φ(k_i)·v_iᵀ # 常数级状态,O(1) 显存y_i = φ(q_i)·S_i
这是一种类 RNN 的递推结构,显存占用恒定,不随序列增长。
数学视角:线性注意力的代价是牺牲了 softmax 的精确性。固定的 d×d 状态相当于一个有限容量的”记忆瓶颈”,在需要精确回忆与检索(如大海捞针式检索)的任务上,往往弱于全注意力。
工程(Infra)视角:线性注意力以规整的矩阵乘为主,硬件利用率通常更友好,显存优势显著;递推带来的顺序依赖可通过分块(chunked)并行化缓解,从而兼顾训练效率与推理时的常数显存。
五、数学与工程对比:两条路线的取舍
| 维度 | 稀疏注意力 | 线性注意力 |
|---|---|---|
| 复杂度 | 近似线性 / O(n·√n) | 严格 O(n·d²),线性 |
| 形式 | 保持 softmax,仅稀疏化 | 用核函数替换 softmax |
| 显存 | 随稀疏度下降 | 常数级状态,不随 n 增长 |
| 精确检索 | 较好(形式未变) | 受状态容量限制,偏弱 |
| 硬件效率 | 访存不规则,适配较难 | 规整 matmul,效率较高 |
| 主要风险 | 连接模式需精心设计 | 长程精确记忆易退化 |
一句话总结:稀疏路线以”少算”换取近似全注意力的表达力,难点在访存规整性;线性路线以”改变形式”换取严格线性复杂度,难点在有限状态的记忆容量。 这也是原始面试问题背后的本质:数学上,前者保留精确性但依赖连接设计,后者牺牲精确性换线性;工程上,前者受困于不规则访存,后者需要与递推/分块并行的内核工程。
六、配套架构改进:不只看注意力
除注意力路线外,2017 年之后深度模型还有大量通用改进,共同提升了长上下文与训练稳定性:
- 位置编码:从绝对位置编码演进到旋转位置编码(RoPE)与线性偏置(ALiBi),前者通过旋转矩阵编码相对位置、外推性更好,后者以线性衰减的注意力偏置增强长度泛化;
- 归一化:由 LayerNorm 演进出 RMSNorm,计算更轻;结构上倾向 Pre-LN 以稳定深层训练;
- 激活函数:由 ReLU、GeLU 演进到 SwiGLU 等门控结构,在同等参数量下通常表现更好;
- 注意力头结构:由多头(MHA)演进到多查询(MQA)与分组查询(GQA),通过共享键值投影大幅降低推理时的显存与带宽开销,是长上下文推理的重要优化;
- 参数结构:混合专家(MoE)通过稀疏激活,在扩大参数规模的同时控制单 token 计算量。
这些改进与稀疏/线性注意力往往组合使用,而非互相替代。
七、相关概念区别
- 稀疏 vs 线性:稀疏是在原矩阵上”挖洞”,形式不变;线性是换核函数”改形式”,两者可组合(如稀疏+线性混合)。
- 线性注意力 vs 状态空间模型:二者在自回归形态下高度相似,都维护固定大小状态的递推结构,可视为长序列建模的相通思路。
- KV Cache:属于推理加速手段,通过缓存历史键值避免重复计算,与注意力复杂度路线是不同层面的优化。
八、使用注意事项
- 按任务选型:需要精确长程检索(如长文档问答、代码定位),优先考虑精确性更强、外推性好的方案;追求超长上下文与稳定显存,可考虑线性/稀疏混合。
- 关注内核与硬件适配:稀疏方案的收益强依赖访存规整度,线性方案依赖分块并行内核质量,不能只看理论复杂度。
- 评估长度外推:很多方案在训练长度外表现明显下降,上线前应针对目标长度做实测。
- 组合而非单点:位置编码、GQA、归一化等往往需与注意力路线协同调优,单独替换收益有限。
- 工程可落地性:在托管算力环境中,可结合容器平台、监控告警、日志服务等通用云能力,对长上下文推理的资源占用与延迟做持续观测与容量规划。
九、总结
长上下文注意力架构演进的本质,是在”表达能力、计算复杂度、显存占用、硬件效率”之间寻找平衡。稀疏注意力以保留 softmax 形式、精简连接为核心,适合重视精确检索的场景;线性注意力以核近似换取严格线性复杂度与常数显存,适合超长上下文场景。理解二者在数学形式与工程实现上的取舍,再叠加位置编码、归一化、激活函数与注意力头结构等配套改进,就能对”2017 年之后深度模型结构有哪些较大改进”形成一个系统而完整的认知框架。

登录后可评论,请前往 登录 或 注册