logo

单头注意力与多头注意力:Transformer为何选择多头机制

作者:搬砖的石头2026.11.16 11:08浏览量:0

简介:本文围绕单头注意力与多头注意力展开对比,系统解释多头机制如何通过独立的投影矩阵构建多种关系度量,分析两者在表达能力、参数规模、计算复杂度、显存占用和训练效果上的差异,并结合语言建模、序列分类等场景给出选型与实现建议。

一、本文比较的两个对象是什么

本文比较的是 Transformer 中的单头注意力与多头注意力。

单头注意力使用一组查询向量、键向量和值向量,通过一次相似度计算得到一张注意力权重矩阵,再根据这张权重矩阵聚合输入信息。它能够让序列中的任意位置直接建立联系,但每个查询位置通常只有一套关系判断标准。

多头注意力则使用多组相互独立的查询、键和值投影。输入会被映射到多个低维子空间,每个子空间分别完成一次注意力计算,最后将所有头的结果拼接,再通过输出投影重新融合为完整表示。

因此,二者的核心差异并不是“能否读取整个序列”,而是:

单头注意力通常使用一种关系度量并行读取信息;多头注意力则允许模型同时使用多种关系度量,从不同表示子空间读取和组合信息。


二、单头注意力已经解决了什么问题

给定查询矩阵 (Q)、键矩阵 (K) 和值矩阵 (V),缩放点积注意力通常表示为:

[
Attention(Q,K,V)=softmax\left(\frac{QK^T}{\sqrt{d_k}}+M\right)V
]

其中:

  • (QK^T) 用于计算查询与键之间的相关性;
  • (\sqrt{d_k}) 用于缩放点积结果,避免数值过大导致 Softmax 过于尖锐;
  • (M) 可以表示遮蔽矩阵,用于屏蔽不应被访问的位置;
  • Softmax 将相关性转换为权重分布;
  • 最后的矩阵乘法根据权重聚合值向量。

对某一个查询位置而言,注意力输出本质上是所有值向量的加权和:

[
zi=\sum_j \alpha{ij}v_j
]

这里的 (\alpha_{ij}) 表示第 (i) 个位置对第 (j) 个位置的关注程度。

单头注意力具备几个重要能力:

  1. 任意位置之间可以直接交互
    不需要像递归结构那样逐步传递信息,也不强制依赖局部邻域。

  2. 关注关系可以随输入变化
    同一个位置在不同句子中可以关注不同位置。

  3. 能够进行上下文相关的信息聚合
    输出不再只由当前位置决定,而是由整个可见上下文共同决定。

但单头注意力也存在一个结构性限制:每个查询位置最终只有一组注意力权重。如果该位置同时需要处理多种关系,而这些关系对应的目标位置不同,那么这组权重就可能需要折中。

例如,在句子“猫追老鼠,因为它饿了”中,“它”可能需要建立两类关系:

  • 指代关系:判断“它”更可能指向“猫”还是“老鼠”;
  • 句法或语义关系:理解“饿了”与前文实体之间的联系。

如果两类关系需要关注不同位置,单头注意力只能通过一张权重分布同时表达,可能出现权重分散、关系混合或信息覆盖不足的问题。


三、多头注意力是如何改变数据流的

设输入表示为:

[
X\in \mathbb{R}^{n\times d_{model}}
]

其中 (n) 是序列长度,(d_{model}) 是模型表示维度。

对于第 (h) 个注意力头,模型会分别使用独立的投影矩阵:

[
Q_h=XW_h^Q
]

[
K_h=XW_h^K
]

[
V_h=XW_h^V
]

然后独立计算:

[
head_h=Attention(Q_h,K_h,V_h)
]

最后将多个头拼接:

[
MultiHead(X)=Concat(head_1,head_2,\ldots,head_H)W^O
]

其中:

  • (H) 表示头数;
  • (W_h^Q、W_h^K、W_h^V) 是第 (h) 个头的投影矩阵;
  • (W^O) 是输出投影矩阵;
  • (Concat) 表示沿特征维度拼接,而不是对多个结果做平均或投票。

常见设置是:

[
d{head}=\frac{d{model}}{H}
]

如果模型表示维度为 512,头数为 8,那么每个头的维度通常为 64。输入经过线性变换后,会从一个 512 维空间拆分为 8 个 64 维子空间,每个子空间独立进行注意力计算,最后再恢复到 512 维表示。

从工程实现角度看,多头注意力通常不是循环调用多个完全独立的模块,而是先将一次大的线性变换结果重排为多个头,再通过批量矩阵乘法并行计算。示意流程如下:

  1. 输入 X
  2. │
  3. ├── 线性投影得到 Q、K、V
  4. │
  5. ├── reshape 为 [batch, heads, sequence, head_dim]
  6. │
  7. ├── 每个 head 独立计算注意力
  8. │
  9. ├── transpose 与 reshape,拼接所有 head
  10. │
  11. └── 输出投影得到最终表示

因此,多头机制带来的主要变化是表示空间和关系度量的并行化,而不是让模型接触更多原始输入。


四、单头与多头的核心差异

1. 关系度量数量不同

单头注意力主要学习一套查询—键匹配规则。多头注意力则允许不同头学习不同的投影方式,从而形成多套匹配规则。

一个头可能更容易捕捉相邻位置关系,另一个头可能更关注远距离依赖,还有的头可能更适合识别实体之间的关联、词语之间的语义相似性或特定位置模式。

需要注意的是,这种“不同头关注不同关系”是模型可能形成的结果,并不是硬编码的分工。模型并不会被明确规定某个头必须负责指代、某个头必须负责时态。

2. 表示子空间不同

单头注意力在一个相对完整的表示空间中进行关系计算。多头注意力会先将表示投影到多个子空间。

这样做的意义在于,同一对位置在不同子空间中可以具有不同的相似性。例如:

  • 在一个子空间中,两者可能因为句法角色相近而相关;
  • 在另一个子空间中,两者可能因为语义主题相近而相关;
  • 在第三个子空间中,两者可能因为距离或位置模式而相关。

多头机制可以保留这些不同视角,而不是强制所有关系压缩成一张注意力图。

3. 信息聚合方式不同

单头输出是一组注意力权重对应的加权和。多头输出则是多组加权和的拼接结果。

这意味着多头注意力不是简单地重复同一结果,也不是对多个结果进行投票。各个头生成的内容会在拼接后交给输出投影进一步组合,模型可以学习:

  • 哪些头的结果应该重点保留;
  • 哪些头的信息需要进行交叉组合;
  • 哪些头产生了相似或冗余的表示;
  • 不同头之间是否存在互补关系。

4. 表达能力与结构约束不同

在相同的总模型维度下,多头注意力提供了更强的结构化表达能力,但每个头使用的维度更低。它通过“多个低维视角”换取“多种关系并行建模”。

单头注意力结构更简单,分析和实现成本较低,但面对多关系任务时,可能需要在一张注意力分布中同时表达不同目的。


五、为什么多头不是简单的 Ensemble

多头注意力与传统意义上的 Ensemble 有相似之处:二者都包含多个相对独立的计算分支。但两者并不等价。

对比维度 多头注意力 传统集成方式
分支输入 通常来自同一输入表示 可以来自不同模型或不同训练过程
参数关系 各头有独立投影,但通常处于同一层 模型之间可能完全独立
输出组合 拼接后由输出投影继续学习 常见方式是平均、加权或投票
优化方式 端到端联合训练 可以独立训练后再组合
主要目的 学习多种表示子空间和关系模式 降低方差、提高整体预测稳定性
分支角色 可能互补,也可能存在冗余 通常希望模型之间具有一定差异性

多头注意力的关键是“可学习的内部表示组合”。每个头并不是独立完成最终预测,而是作为同一网络中的中间计算单元,最终结果仍由后续层共同使用。


六、头数、维度、参数量和计算量之间的关系

设模型维度为 (d_{model}),头数为 (H),每个头维度为:

[
d{head}=\frac{d{model}}{H}
]

1. 参数量通常不因头数线性增加

如果所有头拼接后的总维度仍然是 (d_{model}),那么多头注意力的投影参数总量通常与头数关系不大。

将所有头的投影合并看待,可以近似表示为:

  • (Q) 投影:(d{model}\times d{model})
  • (K) 投影:(d{model}\times d{model})
  • (V) 投影:(d{model}\times d{model})
  • 输出投影:(d{model}\times d{model})

因此,头数从 4 增加到 8,并不意味着投影参数自动增加一倍,前提是每个头的维度同步缩小,总维度保持不变。

2. 注意力计算量主要与序列长度有关

注意力分数矩阵的计算复杂度大致为:

[
O(n^2d_{model})
]

其中 (n) 是序列长度。

虽然多头注意力会计算多组注意力矩阵,但每个头的维度是 (d_{model}/H),将所有头加总后,主要计算量仍大致保持在相近量级。

不过,实际运行效率还会受到以下因素影响:

  • 矩阵运算是否能够充分并行;
  • 张量重排和内存访问是否高效;
  • 头数是否过多导致单头维度过小;
  • 硬件对特定矩阵形状的支持情况;
  • 序列长度和批处理规模。

因此,“理论复杂度接近”不代表不同头数在所有硬件和实现中都有相同的实际耗时。

3. 显存主要受注意力矩阵影响

每个头都需要保存或计算注意力权重。其空间开销通常与以下因素相关:

[
O(Hn^2)
]

在总维度固定时,增加头数可能增加中间注意力矩阵的数量,虽然每个头的特征维度变小,但注意力权重本身仍然是序列长度乘序列长度的矩阵。

因此,在长序列场景下,头数选择需要与显存预算、批大小和中间激活保存策略一起评估。


七、头数越多是否一定越好

并不是。

增加头数可能带来更多关系建模视角,但也可能引入以下问题:

  1. 单头维度过小
    当总维度固定时,头数越多,单头维度越低。若维度过小,单个头表达复杂关系的能力可能不足。

  2. 头之间出现冗余
    多个头可能学习到相似的注意力模式,并未真正形成互补。

  3. 训练和推理开销增加
    即使理论参数量变化不大,更多头可能带来更复杂的张量组织和更高的中间结果管理成本。

  4. 模型容量与任务不匹配
    对关系简单、序列较短或数据规模有限的任务,过多头数可能无法转化为实际收益。

  5. 解释难度增加
    头数越多,分析每个头的行为越复杂。即使某个头表现出明显模式,也不能简单断言它固定承担某种语言功能。

头数选择通常需要同时考虑总维度、单头维度、序列长度、训练资源和任务复杂度,而不是单独追求更大的头数。


八、不同场景下如何选择

场景一:教学、原型验证和小规模实验

如果目标是理解注意力机制、验证数据流或快速构建原型,单头注意力更容易实现和调试。

它的优势包括:

  • 公式简单;
  • 注意力权重容易可视化;
  • 张量形状更容易检查;
  • 便于定位遮蔽、归一化和维度错误。

但如果任务本身包含多种关系,单头结果可能不如多头稳定。

场景二:语言建模和复杂序列理解

对于需要同时建模局部关系、远距离依赖、语义联系和结构关系的任务,多头注意力通常更合适。

原因不是多头自动获得更多输入,而是它可以在不同子空间中并行表示不同关系,减少单一注意力分布的折中。

场景三:资源受限的推理任务

如果设备显存有限、序列较短,或者更关注低延迟,应该综合评估头数、单头维度和实现效率。

此时可以优先关注:

  • 是否存在大量无效头;
  • 注意力矩阵是否成为显存瓶颈;
  • 头数是否适合目标硬件;
  • 降低总模型维度后是否仍能满足任务需求。

场景四:超长序列任务

长序列下,注意力矩阵的平方级空间和计算开销往往比头数本身更值得关注。此时仅仅调整头数通常不能解决根本问题,还需要结合稀疏注意力、分块计算、窗口化计算或其他长序列优化方法进行整体设计。


九、实现和迁移时需要注意什么

从单头改为多头,或者在不同实现之间迁移时,不能只修改头数参数,还需要检查以下内容:

  1. 维度是否可整除
    通常要求 (d_{model}) 能够被头数整除,否则需要额外的维度映射策略。

  2. 张量布局是否一致
    常见形状可能是:

    1. [batch, sequence, model_dim]

    拆头后通常变为:

    1. [batch, heads, sequence, head_dim]

    如果转置顺序错误,可能不会立即报出明显错误,但会导致注意力计算语义不正确。

  3. 遮蔽矩阵广播是否正确
    填充遮蔽和因果遮蔽通常需要扩展到头维度。遮蔽位置如果处理错误,可能导致模型访问不应看到的信息。

  4. 缩放因子是否使用单头维度
    注意力分数通常除以:

    [
    \sqrt{d_{head}}
    ]

    而不是总模型维度的平方根。

  5. 参数加载是否兼容
    从单头结构迁移到多头结构时,原有投影参数不能简单复制后直接认为功能等价。需要明确参数切分、初始化策略和输出投影的对应关系。

  6. 训练稳定性需要重新验证
    头数变化可能影响梯度分布、注意力熵、激活范围和收敛速度,不能只依靠结构能够运行来判断迁移成功。


十、常见误解澄清

误解一:多头能看到更多输入

通常不是。所有头一般读取同一份输入,只是通过不同投影进入不同子空间。

误解二:每个头一定对应一种语言现象

不一定。某些头可能呈现出较明显的局部、句法或指代模式,但头之间可能重叠,也可能随着训练阶段、数据分布和任务目标发生变化。

误解三:头数越多,模型能力越强

不成立。头数必须与总维度、数据规模、任务难度和计算资源匹配。过多头数可能导致单头维度过低或产生冗余。

误解四:多头就是多次重复单头计算

不准确。多头使用的是多组独立投影,计算发生在不同表示子空间中,最终还要经过拼接和输出投影完成融合。


十一、总结:为什么 Transformer 需要 Multi-head Attention

单头注意力已经能够让序列中任意位置直接交互,但它通常只能为每个查询提供一套注意力分布。当一个位置同时需要处理多种关系时,单个分布可能出现折中。

多头注意力通过多个独立的 (Q、K、V) 投影,将输入映射到不同低维子空间,使模型能够:

  • 同时使用多种相似度度量;
  • 并行关注不同位置;
  • 从同一位置读取不同类型的信息;
  • 在拼接后通过输出投影完成统一融合。

它的价值不是扩大输入信息量,也不是简单复制计算,而是提供一种更灵活的关系建模方式。

在实际选型中,可以遵循以下原则:

  • 需要理解机制或快速验证时,单头更简单;
  • 需要表达多种关系时,多头通常更有优势;
  • 资源有限时,应同时评估头数、单头维度、显存和实际吞吐;
  • 长序列场景不能只依赖增加头数,还要关注注意力矩阵的整体复杂度;
  • 不应预先假设每个头承担固定语义职责,应通过可视化、消融实验和任务指标综合判断。

因此,Multi-head Attention 并不是对单头注意力的机械堆叠,而是 Transformer 用来提升关系表示多样性和信息组合能力的一种结构设计。

发表评论

活动