logo

Transformer为何选LayerNorm而非BatchNorm

作者:demo2026.11.16 10:58浏览量:0

简介:本文对比BatchNorm、LayerNorm和RMSNorm三种归一化方法的统计范围、训练推理行为与适用场景,解释Transformer为何放弃依赖批次统计的BatchNorm。读完可掌握选型依据,了解小批量、变长序列和自回归推理下的差异,并知道从BatchNorm迁移到LayerNorm或RMSNorm时需要注意的问题。

对比背景

深度神经网络训练时,每一层的输入分布会随参数更新而变化,这一现象称为内部协变量偏移(Internal Covariate Shift,ICS)。归一化层通过把中间特征拉回到稳定的均值和方差附近,提升训练稳定性并加快收敛。

在卷积神经网络(CNN)时代,BatchNorm是主流选择。Transformer出现后,主流实现转向LayerNorm,近年不少大语言模型又采用RMSNorm。同样是归一化,为什么在序列模型中要改变统计维度?本文围绕这个问题做系统对比,并给出选型思路。

对象定义

归一化的通用计算可以拆为四步:计算均值、计算方差、中心化、仿射变换(乘以可学习的缩放参数γ,加上可学习的偏移参数β)。三种方法的区别在于,均值和方差是在哪些维度上计算的。

BatchNorm 在同一个mini-batch内,对每个通道(channel)跨样本和空间位置统计。以形状为 (N, C, H, W) 的图像特征为例,每个通道的均值取自 N×H×W 个数值。

LayerNorm 对单个样本内部的所有特征维度统计。以形状为 (B, L, D) 的序列特征为例,每个token独立地在隐藏维度D上计算均值与方差,与批次中的其他样本无关。

RMSNorm 只计算均方根(Root Mean Square),不减去均值,通常也不使用偏移参数β。它可以看作LayerNorm的简化版本。

以下伪代码仅用于说明统计量的计算范围,并非某个框架的具体实现:

  1. # 通用伪代码,仅示意统计量的计算维度
  2. def batch_norm(x, gamma, beta, eps):
  3. # x 形状为 [N, C, H, W],在 N、H、W 维度上统计
  4. mean = x.mean(dim=(0, 2, 3), keepdim=True)
  5. var = x.var(dim=(0, 2, 3), keepdim=True, unbiased=False)
  6. x_hat = (x - mean) / sqrt(var + eps)
  7. return gamma * x_hat + beta
  8. def layer_norm(x, gamma, beta, eps):
  9. # x 形状为 [B, L, D],在 D 维度上统计
  10. mean = x.mean(dim=-1, keepdim=True)
  11. var = x.var(dim=-1, keepdim=True, unbiased=False)
  12. x_hat = (x - mean) / sqrt(var + eps)
  13. return gamma * x_hat + beta
  14. def rms_norm(x, gamma, eps):
  15. # x 形状为 [B, L, D],只计算均方根,不做中心化
  16. rms = sqrt((x * x).mean(dim=-1, keepdim=True) + eps)
  17. return gamma * (x / rms)

相同点分析

三者在目标和基础结构上有较多共同点。

  • 目标相同:都通过重新标定数据分布来改善优化过程。学术界目前较认可的解释是,BatchNorm主要通过对优化过程做重参数化、平滑损失曲面来加速训练,而不只是消除内部协变量偏移。LayerNorm和RMSNorm同样起到改善优化几何特性的作用。
  • 输出形式相同:最终都经过仿射变换,保留缩放参数γ,多数情况下保留偏移参数β(RMSNorm通常省略β)。因为有可学习的γ和β,归一化不会限制网络的表达能力。
  • 数值稳定性处理相同:都在方差或均方根上加入很小的常数ε,防止除以零。
  • 计算复杂度同级:三者都是对张量做逐元素操作加上若干次归约,复杂度与输入元素数量成线性关系。相比注意力机制中的矩阵乘法,归一化层的开销较小,但在大模型中仍会被反复调用,因此实现细节会影响整体速度。

核心差异分析

统计依赖:批次还是样本

BatchNorm的统计量来自当前mini-batch。batch较小时,均值和方差的估计噪声变大,训练结果随batch大小波动明显。在显存受限、单卡只能放很少样本的场景中,这一问题尤其突出。

LayerNorm和RMSNorm只依赖单个样本的特征,batch size为1时仍可正常计算。这使它们在小batch训练和推理中表现更稳定。

训练与推理行为

BatchNorm在训练时使用当前批次的统计量,同时维护running mean和running variance(滑动平均)。推理时使用这些累积值。如果训练数据与推理数据的分布存在差异,running统计量就会与真实分布产生偏差,推理结果随之变化。

LayerNorm和RMSNorm在训练与推理中使用相同的计算方式,不需要维护运行时统计量。模型从训练切换到部署时,归一化层的行为保持一致,减少了一类线上问题。

变长序列与padding

文本、语音等序列数据的长度通常不固定,需要用padding补齐到同一长度。如果使用BatchNorm,padding位置的数值会参与批内统计,拉偏均值和方差。BatchNorm沿batch维度平均,但同一位置上的特征在不同样本之间并没有稳定的语义对应关系,例如第3个token在不同句子里可能是完全不同的词。

LayerNorm在每个token内部归一化,只看该token自己的特征向量,不受padding长度和其他样本的影响。这与序列建模的数据结构更匹配。

自回归生成

生成式模型逐token解码,推理时常以batch size为1或动态变化的方式运行。BatchNorm的统计量在这种情况下要么无法稳定估计,要么依赖训练阶段的running值,效果难以保证。LayerNorm和RMSNorm的逐token计算方式与解码过程天然一致。

计算开销

LayerNorm需要先算均值,再算方差,共两次归约。RMSNorm只需要计算平方均值一次归约,省去了减均值的步骤,也没有β参数。在隐藏维度很大的模型中,这些细节会在多层、多步中累积。

实际加速效果取决于硬件、算子融合程度和具体实现,需要在目标环境中实测,不能仅凭公式推断。

数值表现与效果

RMSNorm去掉了中心化步骤,因此不再对输入做平移归一化。很多实验报告显示,在Transformer中RMSNorm的效果与LayerNorm接近,但这一结论依赖具体架构、数据和超参数。在新任务上采用时,应以验证集指标为准。

归一化位置

Transformer实现中,归一化层放在残差分支之后(Post-LN)还是之前(Pre-LN),对训练稳定性影响很大。Post-LN在深层网络中通常需要学习率预热(warmup)才能稳定收敛。Pre-LN让梯度通过残差路径更直接地回传,对学习率和网络深度的容忍度更高,但最终输出的特征尺度可能偏大。归一化位置与归一化类型是两个需要分别评估的选择。

对比表格

维度 BatchNorm LayerNorm RMSNorm
统计范围 同一通道,跨批次与空间位置 单个样本内,全部特征维度 单个样本内,仅计算均方根
是否依赖batch size 是,batch小时估计不稳定 否 否
训练与推理一致性 需要running统计量,两者可能不同 一致 一致
变长序列与padding 受padding影响 不受影响 不受影响
自回归逐token推理 不适合依赖批次统计的场景 适合 适合
可学习参数 γ、β γ、β 通常

发表评论

活动