logo

从公式到直觉:彻底理解Transformer与Flash Attention原理教程

作者:有好多问题2026.11.18 11:20浏览量:0

简介:很多开发者卡在同一个问题上:看懂了注意力机制的Q、K、V公式,却依然无法建立对Transformer的整体理解。本文从"为什么公式看懂却仍然不懂"这一痛点出发,系统梳理自注意力的计算本质、softmax的数值稳定性问题,以及Flash Attention通过分块计算消除中间矩阵显存占用的完整推导过程,帮助读者建立从公式到工程实现的完整认知闭环。

从公式到直觉:彻底理解Transformer与Flash Attention原理

一、教程目标:本教程要解决什么问题

很多人在初次接触Transformer时都有过类似的挫败感:网上绝大多数资料把注意力机制的公式 (P=\text{softmax}(QK^T/\sqrt{d}))、(O=PV) 罗列出来,配上几句”Q代表查询、K代表键、V代表值”的解释,文章就结束了。读者记住了公式,却依然回答不了几个根本问题:注意力到底在”注意”什么?为什么必须除以 (\sqrt{d})?为什么标准实现在大序列下显存会爆炸?Flash Attention又是如何在不改变数学结果的前提下大幅节省显存的?

本教程的目标就是补齐这块拼图:沿着”注意力机制的本质 → softmax的数值问题 → 分块计算的必要性 → Flash Attention的分块softmax推导”这条主线,把Transformer中注意力计算从公式到工程实现的完整逻辑讲透。

适合读者:具备线性代数基础(矩阵乘法、向量运算)、对神经网络反向传播有基本概念、但无法建立Transformer整体直觉的开发者、算法学习者和技术负责人。

二、前置准备:需要的知识储备

开始之前,请确认理解以下三个基础概念:

  1. 矩阵视角理解token序列:一段长度为 (N) 的输入文本,经过嵌入层后得到一个形状为 ((N, d)) 的矩阵,其中每一行是一个token的向量表示,(d) 是向量维度。本文中 Q、K、V 三个矩阵的形状均记为 ((N, d))。
  2. 注意力计算的语义:(S = QK^T) 计算出的 (S_{ij}) 表示第 (i) 个token对第 (j) 个token的”相关性得分”。softmax对每一行做归一化,得到注意力权重分布,再乘 V 得到加权和输出 (O)。所谓”注意力”,本质就是让每个token根据相关性权重,从所有token的value表示中加权提取信息。
  3. 为什么要除以 (\sqrt{d}):点积结果随维度 (d) 增长而方差增大,导致softmax输入进入饱和区,梯度趋近于零。除以 (\sqrt{d}) 是为了把方差拉回到与维度无关的稳定范围,保证训练时的梯度健康。

三、步骤一:写出标准注意力,发现显存瓶颈

先明确要优化的对象。标准注意力的计算流程是:

[
S = \frac{QK^T}{\sqrt{d}}, \quad P = \text{softmax}(S), \quad O = PV
]

问题在于:当序列长度 (N) 很大时,(S) 和 (P) 的形状都是 ((N, N)),即显式存储一个 (N \times N) 的中间矩阵。序列长度翻倍,这块内存就要翻四倍。更关键的是,在反向传播中为了计算梯度,通常还需要保存 (P) 本身,显存压力进一步翻倍。

这就引出了Flash Attention的核心优化目标:(P) 只是中间结果,能否避免显式存储它,同时仍然得到完全相同的输出 (O)?注意,优化目标不是”近似”,而是数学上精确一致——分块计算只是改变了计算顺序,不改变计算结果。

四、步骤二:引入分块,把大问题拆成小问题

4.1 分块策略

既然问题是 (N \times N) 矩阵太大,自然的思路就是分块:把 Q 按行切成若干块(例如3块),把 K、V 也切成若干块(例如2块)。那么 (S) 可以表示为分块矩阵:

[
S = \begin{bmatrix} S{00} & S{01} \ S{10} & S{11} \ S{20} & S{21} \end{bmatrix}
]

其中 (S_{ij}) 表示”Q的第 (i) 块”与”K的第 (j) 块”相乘得到的子块。这样每个子块的大小就只有 ((N/3) \times (N/2)),可以一块一块地载入计算,不必同时持有整个 (S)。

4.2 循环顺序的选择

对 K 的切分作为外循环:先将 (K_0) 与 Q 的所有子块相乘(完成第一轮外循环),再进入第二轮,用 (K_1) 与 Q 的所有子块相乘。这样做的原因是:对于 Q 的某一行而言,softmax的分母需要该行全部 (S) 值的指数和,而一行横跨了 K 的所有分块。以 K 为外循环、Q 为内循环的顺序,可以让 Q 的每一行数据在缓存中保持活跃,逐块累加归一化所需的统计量,避免反复读取。

4.3 关键认知:分块的意义不在于中间结果

这里有一个容易被忽略但至关重要的点:分块之后,我们不需要拼出完整的 (\tilde{P})(未归一化的指数矩阵),也不需要先得到”正确的中间 (S) 或 (P)“再归一化。分块计算的真正意义在于:只要最终输出 (O) 正确即可。归一化所需的统计量(每行最大值、每行指数和)可以分块累计,这将在下一步展开。

五、步骤三:解决softmax的数值稳定性——Safe Softmax

5.1 为什么标准softmax会溢出

标准softmax的计算是:

[
\text{softmax}(xi) = \frac{e^{x_i}}{\sum{j=1}^{d} e^{x_j}}
]

注意力得分经过 (QK^T/\sqrt{d}) 后仍可能取到较大的值(几十甚至更大),而 (e^{x}) 增长极快——(e^{50}) 已经超出常见浮点类型的表示范围,直接计算会溢出为无穷大,导致整个结果不可用。这就是必须引入safe softmax的原因。

5.2 Safe Softmax的推导

利用指数运算的性质,分子分母同乘一个常数不改变比值。取 (m(x) = \max_i x_i)(该行的最大值),有:

[
\text{softmax}(xi) = \frac{e^{x_i - m(x)}}{\sum{j=1}^{d} e^{x_j - m(x)}}
]

由于减去的是行内最大值,每个指数项 (e^{x_i - m(x)}) 都满足 (x_i - m(x) \le 0),其值落在 ((0, 1]) 区间,从根本上消除了溢出的可能。同时至少有一项等于1,避免了下溢导致分母为零。

具体到矩阵 (S):先对每一行计算 rowmax,得到行最大值向量;用 (S) 减去对应行的最大值得到安全的指数输入;再对指数结果计算 rowsum(行内求和),即可完成归一化。这两个统计量是按行独立计算的,这正为分块累计提供了可能。

六、步骤四:分块条件下如何正确计算softmax——核心推导

这是理解Flash Attention最关键的一步。以 Q 的第一行块 (S0 = [S{00}, S_{01}]) 为例,它横跨了 K 的两个分块,完整的softmax必须依赖全局信息:

[
\text{softmax}(S_0) = \frac{e^{S_0 - m(S_0)}}{\text{sum}(e^{S_0 - m(S_0)})}
]

其中 (m(S0) = \max(m(S{00}), m(S{01}))),是两个分块最大值的较大者。困难在于:当我们只计算了 (S{00}) 时,并不知道 (S_{01}) 中的值是否会更大,因此无法立即确定全局最大值。

解决思路是为每个分块维护”局部统计量”,并在获得新分块时用修正系数更新全局统计量:

第一步,分块内部计算局部safe softmax。 对每个分块 (S{0j}),先计算其局部行最大值 (m_j = m(S{0j})) 和局部指数和 (\ellj = \sum e^{S{0j} - m_j})。这一步是完全安全的,因为只涉及单个分块内部的数据。

第二步,跨分块合并统计量。 当外循环处理到 K 的第 (j) 个分块时,更新全局行最大值:

[
m^{(j)} = \max(m^{(j-1)}, m_j)
]

全局指数和不能简单相加,因为旧的指数和是基于旧的最大值 (m^{(j-1)}) 计算的,需要乘上修正系数 (e^{m^{(j-1)} - m^{(j)}}) 完成”换底”:

[
\ell^{(j)} = e^{m^{(j-1)} - m^{(j)}} \cdot \ell^{(j-1)} + \ell_j
]

展开写就是:

[
e^{S0 - m^{(j)}} = \begin{bmatrix} e^{m_0 - m^{(j)}} \cdot e^{S{00} - m0}, & e^{m_1 - m^{(j)}} \cdot e^{S{01} - m_1} \end{bmatrix}
]

即每个分块的局部指数结果乘以其局部最大值与全局最大值的差值的指数,就自动完成了全局换基,无需重算已处理分块的原始数据。

第三步,同步更新输出 (O)。 输出矩阵同样按此系数修正后累加:

[
O^{(j)} = O^{(j-1)} \cdot e^{m^{(j-1)} - m^{(j)}} + e^{S_{0j} - m_j} \cdot V_j
]

(实际实现中通常在循环结束后统一除以最终的 (\ell) 完成归一化。)这样,每个 K 分块处理完后就可以丢弃对应的 (S) 和局部 (\tilde{P}),显存占用从 (O(N^2)) 降为分块大小的 (O(N)) 级别。

七、伪代码流程示意

以下是用通用伪代码描述的在线分块softmax计算流程,不含任何特定框架或厂商专有接口:

  1. # 输入: Q (N, d), K (N, d), V (N, d)
  2. # 将 Q 按行分为 Tq 块, K、V 对应分为 Tk 块
  3. O = zeros(N, d) # 累积输出
  4. m = full(N, -inf) # 全局行最大值,初始为负无穷
  5. l = zeros(N) # 全局指数和
  6. for j in 1..Tk: # 外循环:遍历 K/V 分块
  7. S_block = Q @ K[j].T / sqrt(d) # 形状 (N, N/Tk)
  8. m_block = rowmax(S_block)
  9. m_new = max(m, m_block) # 更新全局最大值
  10. alpha = exp(m - m_new) # 旧统计量修正系数
  11. P_block = exp(S_block - m_new) # 安全的局部指数
  12. l = l * alpha + rowsum(P_block)
  13. O = O * alpha + P_block @ V[j] # 同步修正并累加输出
  14. # S_block 与 P_block 在此释放,不再保留
  15. O = O / l # 最终归一化

需要注意两点:一是 alpha 的乘法保证了之前累积的输出和指数和始终基于当前最新的全局最大值,数学上与一次性计算完全等价;二是中间矩阵的生命周期被限制在单次循环体内,这是显存收益的来源。

八、结果验证:如何判断理解是否到位

学完本文后,可以用以下几个问题自检:

  1. 能否手算一个小例子:取一个 (2 \times 2) 的 (S) 矩阵,分别用标准softmax和”先算第一列再合并第二列”的分块方式计算,验证结果一致。
  2. 能否说清修正系数:被问到”为什么旧的指数和要乘 (e^{m{old} - m{new}})“时,能推导出这是因为指数换底不改变softmax的比值。
  3. 能否定位显存节省来源:明确指出节省来自”中间 (S)、(\tilde{P}) 矩阵在循环内即算即弃”,而非减少了浮点运算量——Flash Attention减少的是显存读写与占用,FLOPs并未降低。

九、常见问题与排查思路

问题一:为什么公式都背下来了还是不理解?
原因通常是只停留在符号层面。建议回到语义层面:Q、K、V是同一个输入序列经过三组不同线性变换得到的三种”角色”,注意力就是让每个位置以相关性为权重去读取其他位置的信息。先理解”在做什么”,再看”怎么算得快”,公式才有意义。

问题二:分块计算的输出会不会和标准实现有精度差异?
数学上严格等价,浮点上存在极小差异,来自运算顺序改变带来的舍入误差,且safe softmax反而提升了数值稳定性。若在大规模训练中发现异常,应优先检查分块边界处理、最大值初始化(应为负无穷而非0)以及归一化的时机。

问题三:为什么强调外循环遍历K而不是Q?
核心原因是softmax的分母按Q的行汇总,而一行数据横跨所有K分块。以K为外循环可以让Q的行驻留计算,逐块合并统计量;反过来则需要多趟扫描K,缓存效率更低。

十、优化建议与学习路线

性能层面:理解Flash Attention后应建立的认知是—— attention的瓶颈常常不是算力而是显存带宽,减少HBM(高带宽显存)与片上缓存之间的数据搬运比减少FLOPs收益更大。分块大小的选择需要在寄存器/共享内存容量与计算密度之间权衡,过小则并行度不足,过大则放不下。

工程层面:在生产环境的训练或推理中引入此类优化时,建议先在开发环境用小规模数据验证输出一致性,再逐步放大序列长度做压力测试,同时监控显存峰值与数值范围(是否存在NaN或Inf)。

后续学习方向:在掌握分块softmax后,可继续研究反向传播中梯度如何同样以分块方式重算而非存储、因果掩码(causal mask)如何自然地融入分块循环,以及长序列场景下与稀疏注意力、线性注意力的对比取舍,从而建立对高效注意力机制家族的整体认识。

十一、总结

本文从”看懂公式却依然不懂”的普遍困惑出发,梳理了理解Transformer注意力的完整路径:先建立注意力的语义直觉,再写出标准实现并定位 (N \times N) 中间矩阵的显存瓶颈,进而理解safe softmax解决数值溢出的原理,最后推导出分块条件下通过修正系数 (e^{m{old}-m{new}}) 在线合并行最大值与行指数和、同步更新输出的关键机制。掌握这条主线后,Flash Attention不再是一个孤立的”加速技巧”,而是”为消除中间结果显式存储而重排计算顺序”这一思想的必然产物——这正是从公式走向真正理解的标志。

发表评论

活动