logo

DeltaNet原理解析:线性注意力与门控的结合

作者:半吊子全栈工匠2026.11.18 12:08浏览量:0

简介:本文说明DeltaNet如何用Delta规则更新记忆状态,并借助门控机制决定保留与遗忘的比例。读者可以了解线性注意力效率高但检索能力弱的原因,理解Gated DeltaNet与全注意力混合的设计思路,并掌握选型与训练时需要检查的初始化、层数配比和算子支持问题。

一、为什么需要改进注意力

标准Transformer的自注意力让每个token与所有历史token计算相关性。序列长度为N时,注意力矩阵有N×N个元素,计算量和显存占用都随N呈平方增长。处理几万字的文档或长代码时,这个成本很快成为瓶颈。

线性注意力换了一种计算顺序。它去掉Softmax归一化,或用核函数对其近似,然后先计算Key与Value的乘积,再与Query相乘。由于矩阵乘法满足结合律,模型不必显式构造N×N矩阵,只需维护一个固定大小的状态矩阵。每处理一个token,状态更新一次,计算量与N成线性关系。

二、线性注意力的短板

固定大小的状态矩阵有一个代价。每次写入都会把新信息叠加到已有内容上,旧信息逐渐被稀释。模型读得越远,就越难从早期内容中精确取回某个事实。这类问题常被称为”大海捞针”式检索能力下降。

问题的根源在于记忆的写入方式。线性注意力的计算已经足够快,但简单累加的写入规则缺少对已有内容的修正能力。DeltaNet正是从写入规则入手进行改进的。

三、Delta规则:先擦除旧值,再写入新值

DeltaNet由Yang等人在2024年的论文中提出,核心是Delta规则。设第t步的状态矩阵为S_t,Key为k_t,Value为v_t,写入强度为β_t(取值在0到1之间)。标准线性注意力的更新是:

St = S{t-1} + v_t k_tᵀ

DeltaNet改为:

St = S{t-1}(I − β_t k_t k_tᵀ) + β_t v_t k_tᵀ

括号部分的作用是:先用当前Key从旧状态中读出对应的值,按比例将其擦除,再写入新的Value。同一个Key被重复写入时,旧值会被替换,而不会不断累加。因此,Delta规则更适合更新已经存在的键值关系。

“先减后加”只是对公式的口语化描述。更准确的理解是:模型先用旧状态预测当前Value,再把预测误差按β_t的比例写回状态。Key通常做L2归一化,以保证擦除操作的数值稳定。

四、门控机制:决定忘多少

Gated DeltaNet在Delta规则上加入了数据相关的门控α_t,取值同样在0到1之间:

St = S{t-1} α_t (I − β_t k_t k_tᵀ) + β_t v_t k_tᵀ

α_t接近1时,历史状态基本保留;接近0时,历史信息大幅衰减。α_t由当前输入计算得到,因此模型能根据内容决定哪些上下文需要保留,哪些可以遗忘。Yang等人在ICLR 2025发表的Gated Delta Networks一文中报告,门控与Delta规则结合后,在语言建模和长上下文任务上优于两者单独使用。具体数字取决于实验设置,应以原论文为准。

五、为什么要和全注意力混合

纯线性模型在精确检索上仍有天然短板。它的状态大小固定,无法保存每个token的完整信息。因此,近期的大模型设计常采用混合结构:大部分层使用Gated DeltaNet,负责低成本的长程信息传递;少数层保留标准注意力或门控注意力,负责精确查找和细粒度的特征交互。

混合比例没有统一答案。常见做法是让线性层占多数,全注意力层穿插其中。比例需要结合任务和算力预算,通过实验确定。

稀疏注意力是另一类补充手段。它让每个query只关注部分重要token,可以在保留关键信息的同时降低计算量。它与DeltaNet的结合方式有多种,实现细节差异较大,需要查阅具体模型的技术报告。

六、选型与训练中的注意事项

  1. 门控初始化。 门控参数的初始值决定训练早期的遗忘速度。初始遗忘过快,模型难以学到长程依赖;初始遗忘过慢,旧信息会堆积并干扰新信息。建议检查门控偏置的初始化范围,并观察训练早期状态矩阵的范数是否稳定。
  2. 层数配比。 浅层通常更依赖局部特征,深层更依赖长程依赖,但这只是经验规律。可以设计几组比例(例如线性层与全注意力层为3:1、5:1等)进行对比实验,并以验证集上的检索和推理指标为准。
  3. 训练并行实现。 DeltaNet的递推形式在推理时只需固定大小的内存,但逐token训练会非常慢。实际训练依赖分块(chunkwise)并行算法:把序列切成若干块,块内用矩阵运算并行计算,块间传递状态。使用前应确认所用框架提供了这类算子。
  4. 算子与硬件支持。 线性注意力的理论复杂度低,不代表实际运行一定快。状态更新涉及大量小矩阵操作,需要高效的CUDA或Triton内核。选型时应核对框架版本是否支持所需算子,并在目标硬件上实测吞吐和显存占用。
  5. 评测口径。 比较不同架构时,应统一上下文长度、训练数据和评测集,并同时报告质量指标与延迟。

七、适用场景

  • 长文档分析。 财报、法律文件、长代码库等需要在大量上下文中保持连贯推理的任务,线性层可以降低长序列的计算与显存开销。
  • 推理服务。 固定大小的状态有助于控制单个请求的显存增长,在高并发场景下可能提升同等硬件的吞吐量。实际收益需要在部署环境中测量。
  • 端侧与边缘设备。 在计算和显存受限的设备上,线性注意力的成本优势更明显。模型规模和精度仍需根据设备条件权衡。

八、总结

DeltaNet通过Delta规则改善了线性注意力的写入方式,通过门控机制控制遗忘速度,再与少量全注意力层混合,使长上下文处理在效率和检索能力之间取得较好的平衡。它为长上下文建模提供了一组可以按需调整的设计选择,适合在明确的效率目标下使用。选型时,应以论文报告和自有基准测试的结果为依据。

参考文献:

  1. Yang S. 等,Parallelizing Linear Transformers with the Delta Rule over Sequence Length,NeurIPS 2024。
  2. Yang S.、Kautz J.、Hatamizadeh A.,Gated Delta Networks: Improving Mamba2 with Delta Rule,ICLR 2025。

发表评论

活动