Transformer模型中的参数数量

Transformer模型由L个相同的层组成，每个层分为两部分：self-attention块和MLP块。Self-attention模块包含Q、K、V的权重矩阵Wq、Wk、Wv以及输出和偏置Bias。4个权重矩阵的形状为[h, h]，4个偏置的形状为[h]。Self-attention参数量为4 + 4h。MLP块由2个线性层组成，第一个线性层是将维度从h映射到4h，第二个线性层再将维度从4h映射到h。第一个线性层的权重矩阵W1的形状为[h,4h]，偏置的形状为[4h]。
除了这些参数，Transformer模型还包括嵌入层、每一层的正规化、位置编码等参数。位置编码不是可训练的权重，而且数量量级很少。
需要注意的是，这里的参数数量只是理论上的估计，实际的参数数量可能会因为模型的具体实现和配置有所不同。例如，一些模型可能会使用残差连接、多头注意力机制等其他组件，这些组件也可能包含额外的参数。另外，参数数量只是评估模型复杂度的一个方面，模型的深度、宽度以及每层的节点数等也是重要的因素。因此，在评估一个Transformer模型的复杂度时，需要综合考虑多个因素。