单头注意力与多头注意力:Transformer为何选择多头机制
作者:搬砖的石头2026.11.16 11:08浏览量:0简介:本文围绕单头注意力与多头注意力展开对比,系统解释多头机制如何通过独立的投影矩阵构建多种关系度量,分析两者在表达能力、参数规模、计算复杂度、显存占用和训练效果上的差异,并结合语言建模、序列分类等场景给出选型与实现建议。
一、本文比较的两个对象是什么
本文比较的是 Transformer 中的单头注意力与多头注意力。
单头注意力使用一组查询向量、键向量和值向量,通过一次相似度计算得到一张注意力权重矩阵,再根据这张权重矩阵聚合输入信息。它能够让序列中的任意位置直接建立联系,但每个查询位置通常只有一套关系判断标准。
多头注意力则使用多组相互独立的查询、键和值投影。输入会被映射到多个低维子空间,每个子空间分别完成一次注意力计算,最后将所有头的结果拼接,再通过输出投影重新融合为完整表示。
因此,二者的核心差异并不是“能否读取整个序列”,而是:
单头注意力通常使用一种关系度量并行读取信息;多头注意力则允许模型同时使用多种关系度量,从不同表示子空间读取和组合信息。
二、单头注意力已经解决了什么问题
给定查询矩阵 (Q)、键矩阵 (K) 和值矩阵 (V),缩放点积注意力通常表示为:
[
Attention(Q,K,V)=softmax\left(\frac{QK^T}{\sqrt{d_k}}+M\right)V
]
其中:
- (QK^T) 用于计算查询与键之间的相关性;
- (\sqrt{d_k}) 用于缩放点积结果,避免数值过大导致 Softmax 过于尖锐;
- (M) 可以表示遮蔽矩阵,用于屏蔽不应被访问的位置;
- Softmax 将相关性转换为权重分布;
- 最后的矩阵乘法根据权重聚合值向量。
对某一个查询位置而言,注意力输出本质上是所有值向量的加权和:
[
zi=\sum_j \alpha{ij}v_j
]
这里的 (\alpha_{ij}) 表示第 (i) 个位置对第 (j) 个位置的关注程度。
单头注意力具备几个重要能力:
任意位置之间可以直接交互
不需要像递归结构那样逐步传递信息,也不强制依赖局部邻域。关注关系可以随输入变化
同一个位置在不同句子中可以关注不同位置。能够进行上下文相关的信息聚合
输出不再只由当前位置决定,而是由整个可见上下文共同决定。
但单头注意力也存在一个结构性限制:每个查询位置最终只有一组注意力权重。如果该位置同时需要处理多种关系,而这些关系对应的目标位置不同,那么这组权重就可能需要折中。
例如,在句子“猫追老鼠,因为它饿了”中,“它”可能需要建立两类关系:
- 指代关系:判断“它”更可能指向“猫”还是“老鼠”;
- 句法或语义关系:理解“饿了”与前文实体之间的联系。
如果两类关系需要关注不同位置,单头注意力只能通过一张权重分布同时表达,可能出现权重分散、关系混合或信息覆盖不足的问题。
三、多头注意力是如何改变数据流的
设输入表示为:
[
X\in \mathbb{R}^{n\times d_{model}}
]
其中 (n) 是序列长度,(d_{model}) 是模型表示维度。
对于第 (h) 个注意力头,模型会分别使用独立的投影矩阵:
[
Q_h=XW_h^Q
]
[
K_h=XW_h^K
]
[
V_h=XW_h^V
]
然后独立计算:
[
head_h=Attention(Q_h,K_h,V_h)
]
最后将多个头拼接:
[
MultiHead(X)=Concat(head_1,head_2,\ldots,head_H)W^O
]
其中:
- (H) 表示头数;
- (W_h^Q、W_h^K、W_h^V) 是第 (h) 个头的投影矩阵;
- (W^O) 是输出投影矩阵;
- (Concat) 表示沿特征维度拼接,而不是对多个结果做平均或投票。
常见设置是:
[
d{head}=\frac{d{model}}{H}
]
如果模型表示维度为 512,头数为 8,那么每个头的维度通常为 64。输入经过线性变换后,会从一个 512 维空间拆分为 8 个 64 维子空间,每个子空间独立进行注意力计算,最后再恢复到 512 维表示。
从工程实现角度看,多头注意力通常不是循环调用多个完全独立的模块,而是先将一次大的线性变换结果重排为多个头,再通过批量矩阵乘法并行计算。示意流程如下:
输入 X│├── 线性投影得到 Q、K、V│├── reshape 为 [batch, heads, sequence, head_dim]│├── 每个 head 独立计算注意力│├── transpose 与 reshape,拼接所有 head│└── 输出投影得到最终表示
因此,多头机制带来的主要变化是表示空间和关系度量的并行化,而不是让模型接触更多原始输入。
四、单头与多头的核心差异
1. 关系度量数量不同
单头注意力主要学习一套查询—键匹配规则。多头注意力则允许不同头学习不同的投影方式,从而形成多套匹配规则。
一个头可能更容易捕捉相邻位置关系,另一个头可能更关注远距离依赖,还有的头可能更适合识别实体之间的关联、词语之间的语义相似性或特定位置模式。
需要注意的是,这种“不同头关注不同关系”是模型可能形成的结果,并不是硬编码的分工。模型并不会被明确规定某个头必须负责指代、某个头必须负责时态。
2. 表示子空间不同
单头注意力在一个相对完整的表示空间中进行关系计算。多头注意力会先将表示投影到多个子空间。
这样做的意义在于,同一对位置在不同子空间中可以具有不同的相似性。例如:
- 在一个子空间中,两者可能因为句法角色相近而相关;
- 在另一个子空间中,两者可能因为语义主题相近而相关;
- 在第三个子空间中,两者可能因为距离或位置模式而相关。
多头机制可以保留这些不同视角,而不是强制所有关系压缩成一张注意力图。
3. 信息聚合方式不同
单头输出是一组注意力权重对应的加权和。多头输出则是多组加权和的拼接结果。
这意味着多头注意力不是简单地重复同一结果,也不是对多个结果进行投票。各个头生成的内容会在拼接后交给输出投影进一步组合,模型可以学习:
- 哪些头的结果应该重点保留;
- 哪些头的信息需要进行交叉组合;
- 哪些头产生了相似或冗余的表示;
- 不同头之间是否存在互补关系。
4. 表达能力与结构约束不同
在相同的总模型维度下,多头注意力提供了更强的结构化表达能力,但每个头使用的维度更低。它通过“多个低维视角”换取“多种关系并行建模”。
单头注意力结构更简单,分析和实现成本较低,但面对多关系任务时,可能需要在一张注意力分布中同时表达不同目的。
五、为什么多头不是简单的 Ensemble
多头注意力与传统意义上的 Ensemble 有相似之处:二者都包含多个相对独立的计算分支。但两者并不等价。
| 对比维度 | 多头注意力 | 传统集成方式 |
|---|---|---|
| 分支输入 | 通常来自同一输入表示 | 可以来自不同模型或不同训练过程 |
| 参数关系 | 各头有独立投影,但通常处于同一层 | 模型之间可能完全独立 |
| 输出组合 | 拼接后由输出投影继续学习 | 常见方式是平均、加权或投票 |
| 优化方式 | 端到端联合训练 | 可以独立训练后再组合 |
| 主要目的 | 学习多种表示子空间和关系模式 | 降低方差、提高整体预测稳定性 |
| 分支角色 | 可能互补,也可能存在冗余 | 通常希望模型之间具有一定差异性 |
多头注意力的关键是“可学习的内部表示组合”。每个头并不是独立完成最终预测,而是作为同一网络中的中间计算单元,最终结果仍由后续层共同使用。
六、头数、维度、参数量和计算量之间的关系
设模型维度为 (d_{model}),头数为 (H),每个头维度为:
[
d{head}=\frac{d{model}}{H}
]
1. 参数量通常不因头数线性增加
如果所有头拼接后的总维度仍然是 (d_{model}),那么多头注意力的投影参数总量通常与头数关系不大。
将所有头的投影合并看待,可以近似表示为:
- (Q) 投影:(d{model}\times d{model})
- (K) 投影:(d{model}\times d{model})
- (V) 投影:(d{model}\times d{model})
- 输出投影:(d{model}\times d{model})
因此,头数从 4 增加到 8,并不意味着投影参数自动增加一倍,前提是每个头的维度同步缩小,总维度保持不变。
2. 注意力计算量主要与序列长度有关
注意力分数矩阵的计算复杂度大致为:
[
O(n^2d_{model})
]
其中 (n) 是序列长度。
虽然多头注意力会计算多组注意力矩阵,但每个头的维度是 (d_{model}/H),将所有头加总后,主要计算量仍大致保持在相近量级。
不过,实际运行效率还会受到以下因素影响:
- 矩阵运算是否能够充分并行;
- 张量重排和内存访问是否高效;
- 头数是否过多导致单头维度过小;
- 硬件对特定矩阵形状的支持情况;
- 序列长度和批处理规模。
因此,“理论复杂度接近”不代表不同头数在所有硬件和实现中都有相同的实际耗时。
3. 显存主要受注意力矩阵影响
每个头都需要保存或计算注意力权重。其空间开销通常与以下因素相关:
[
O(Hn^2)
]
在总维度固定时,增加头数可能增加中间注意力矩阵的数量,虽然每个头的特征维度变小,但注意力权重本身仍然是序列长度乘序列长度的矩阵。
因此,在长序列场景下,头数选择需要与显存预算、批大小和中间激活保存策略一起评估。
七、头数越多是否一定越好
并不是。
增加头数可能带来更多关系建模视角,但也可能引入以下问题:
单头维度过小
当总维度固定时,头数越多,单头维度越低。若维度过小,单个头表达复杂关系的能力可能不足。头之间出现冗余
多个头可能学习到相似的注意力模式,并未真正形成互补。训练和推理开销增加
即使理论参数量变化不大,更多头可能带来更复杂的张量组织和更高的中间结果管理成本。模型容量与任务不匹配
对关系简单、序列较短或数据规模有限的任务,过多头数可能无法转化为实际收益。解释难度增加
头数越多,分析每个头的行为越复杂。即使某个头表现出明显模式,也不能简单断言它固定承担某种语言功能。
头数选择通常需要同时考虑总维度、单头维度、序列长度、训练资源和任务复杂度,而不是单独追求更大的头数。
八、不同场景下如何选择
场景一:教学、原型验证和小规模实验
如果目标是理解注意力机制、验证数据流或快速构建原型,单头注意力更容易实现和调试。
它的优势包括:
- 公式简单;
- 注意力权重容易可视化;
- 张量形状更容易检查;
- 便于定位遮蔽、归一化和维度错误。
但如果任务本身包含多种关系,单头结果可能不如多头稳定。
场景二:语言建模和复杂序列理解
对于需要同时建模局部关系、远距离依赖、语义联系和结构关系的任务,多头注意力通常更合适。
原因不是多头自动获得更多输入,而是它可以在不同子空间中并行表示不同关系,减少单一注意力分布的折中。
场景三:资源受限的推理任务
如果设备显存有限、序列较短,或者更关注低延迟,应该综合评估头数、单头维度和实现效率。
此时可以优先关注:
- 是否存在大量无效头;
- 注意力矩阵是否成为显存瓶颈;
- 头数是否适合目标硬件;
- 降低总模型维度后是否仍能满足任务需求。
场景四:超长序列任务
长序列下,注意力矩阵的平方级空间和计算开销往往比头数本身更值得关注。此时仅仅调整头数通常不能解决根本问题,还需要结合稀疏注意力、分块计算、窗口化计算或其他长序列优化方法进行整体设计。
九、实现和迁移时需要注意什么
从单头改为多头,或者在不同实现之间迁移时,不能只修改头数参数,还需要检查以下内容:
维度是否可整除
通常要求 (d_{model}) 能够被头数整除,否则需要额外的维度映射策略。张量布局是否一致
常见形状可能是:[batch, sequence, model_dim]
拆头后通常变为:
[batch, heads, sequence, head_dim]
如果转置顺序错误,可能不会立即报出明显错误,但会导致注意力计算语义不正确。
遮蔽矩阵广播是否正确
填充遮蔽和因果遮蔽通常需要扩展到头维度。遮蔽位置如果处理错误,可能导致模型访问不应看到的信息。缩放因子是否使用单头维度
注意力分数通常除以:[
\sqrt{d_{head}}
]而不是总模型维度的平方根。
参数加载是否兼容
从单头结构迁移到多头结构时,原有投影参数不能简单复制后直接认为功能等价。需要明确参数切分、初始化策略和输出投影的对应关系。训练稳定性需要重新验证
头数变化可能影响梯度分布、注意力熵、激活范围和收敛速度,不能只依靠结构能够运行来判断迁移成功。
十、常见误解澄清
误解一:多头能看到更多输入
通常不是。所有头一般读取同一份输入,只是通过不同投影进入不同子空间。
误解二:每个头一定对应一种语言现象
不一定。某些头可能呈现出较明显的局部、句法或指代模式,但头之间可能重叠,也可能随着训练阶段、数据分布和任务目标发生变化。
误解三:头数越多,模型能力越强
不成立。头数必须与总维度、数据规模、任务难度和计算资源匹配。过多头数可能导致单头维度过低或产生冗余。
误解四:多头就是多次重复单头计算
不准确。多头使用的是多组独立投影,计算发生在不同表示子空间中,最终还要经过拼接和输出投影完成融合。
十一、总结:为什么 Transformer 需要 Multi-head Attention
单头注意力已经能够让序列中任意位置直接交互,但它通常只能为每个查询提供一套注意力分布。当一个位置同时需要处理多种关系时,单个分布可能出现折中。
多头注意力通过多个独立的 (Q、K、V) 投影,将输入映射到不同低维子空间,使模型能够:
- 同时使用多种相似度度量;
- 并行关注不同位置;
- 从同一位置读取不同类型的信息;
- 在拼接后通过输出投影完成统一融合。
它的价值不是扩大输入信息量,也不是简单复制计算,而是提供一种更灵活的关系建模方式。
在实际选型中,可以遵循以下原则:
- 需要理解机制或快速验证时,单头更简单;
- 需要表达多种关系时,多头通常更有优势;
- 资源有限时,应同时评估头数、单头维度、显存和实际吞吐;
- 长序列场景不能只依赖增加头数,还要关注注意力矩阵的整体复杂度;
- 不应预先假设每个头承担固定语义职责,应通过可视化、消融实验和任务指标综合判断。
因此,Multi-head Attention 并不是对单头注意力的机械堆叠,而是 Transformer 用来提升关系表示多样性和信息组合能力的一种结构设计。

登录后可评论,请前往 登录 或 注册