logo

大模型LoRA微调对比:注意力层与MLP层怎么选

作者:搬砖的石头2026.11.16 10:57浏览量:0

简介:同样是冻结基座、只训练低秩增量,LoRA挂在注意力投影上还是挂在前馈层(MLP)上,效果可能明显不同。本文对比两种注入位置在架构、表达能力、成本、知识注入能力与适用边界上的异同,说明部分任务上前馈层LoRA表现更好的原因,并给出按任务类型、数据规模和运维条件选型的判断依据。

一、对比背景:一个容易“各说各话”的推导

把一个通用大语言模型(下称“基座模型”)改造成医学问答助手时,常见的做法是用“问题—答案”样本做监督微调。全量微调可以改动全部权重,但显存开销大,容易出现灾难性遗忘,每次上线都要保存一份完整权重。低秩适配(Low-Rank Adaptation,简称 LoRA)这类参数高效微调(PEFT)方法冻结基座权重,只训练注入到个别线性层旁边的低秩矩阵。因此,基座模型可以用低精度加载,优化器只需维护增量参数的状态,业务侧的改造成本较低。

LoRA 流行之后,一个实际问题随之出现:它应该加在注意力(Attention)上,还是加在前馈层(MLP)上? 有一种常见的理解是:“Transformer 负责基本语言能力,MLP 负责领域知识,所以微调时动 MLP 就够了。”由此又推出“把通用模型改成医学问答模型时,基本语言能力几乎不会变”。

这里有一个常见误区:人们把 Transformer 和 MLP 当成两个并列的模块。其实,前馈层本来就是 Transformer 的一部分。语言能力和领域知识也无法被整齐地切给两个子层,它们是整个网络共同学到的。

不过,这种直觉并非毫无根据。部分研究与工程实践中确实观察到,在一些微调任务里,只在前馈层上加 LoRA 的效果好于只加在注意力上。这个现象值得展开,也需要讲清楚成立条件。

本文对比两类 LoRA 注入位置,下面简称:

  • 方案A(注意力 LoRA):只在自注意力的查询(Q)、键(K)、值(V)、输出(O)投影上注入低秩增量;
  • 方案B(前馈层 LoRA):只在前馈层的上行、下行投影(门控结构还包括门控投影)上注入低秩增量。

实践中常用的“全线性层 LoRA”(两处同时注入)会作为参照方案C出现。

二、对象定义:先厘清 Transformer 与前馈层的关系

一个典型的仅解码器(Decoder-only)Transformer Block 包含两个子层:

  • 自注意力:让当前序列中不同位置的 token 相互读取信息。每个位置根据自身的查询与其余位置的键计算注意力权重,再对对应的值加权求和,实现跨位置的信息聚合。
  • 前馈层(MLP / FFN):对当前位置的表示依次做线性变换和非线性激活(如 ReLU、GELU),门控结构还会再乘以一个门控分支,最后通过输出投影回到残差流。

用伪代码表示,一个 Block 大致如下:

  1. def transformer_block(x): # x: [序列长度, 隐藏维度]
  2. h = x + attention(norm1(x)) # 子层1:token 之间交换信息
  3. y = h + mlp(norm2(h)) # 子层2:逐位置非线性变换
  4. return y

可见,前馈层本身就是 Transformer 的基本构件,与注意力逐层交替出现。

以“慢性肾病患者使用某类药物时要注意什么”这个问题为例,模型至少要完成两件事:

  1. 跨位置解析关系:识别患者的基础疾病、所涉药物,以及提问关注的是风险还是疗效。这依赖注意力在各 token 之间建立联系。
  2. 调用领域知识并形成回答:结合药物代谢、肾功能分级、剂量调整等知识,把当前位置的表示逐步加工成答案内容。这依赖前馈层的逐位置变换。

因此,更合理的概括是:注意力主要决定信息如何在位置之间流转,前馈层主要决定每个位置的信息如何被进一步加工。这只是理解架构的简化方式,并不代表注意力不存储知识,或前馈层不参与语言理解。

三、相同点:同一条公式,只是挂载位置不同

两种方案的内核完全一致。

  1. 增量形式相同:权重都变为 W’ = W + ΔW,其中 ΔW = B·A。A 初始化为小随机值,B 初始化为全零,训练开始时增量为零,基座行为保持不变。
  2. 基座冻结:只有注入的低秩矩阵参与训练,基座权重始终不变。相比全量微调,可训练参数量通常只占基座总参数量的极小比例,显存占用更低。
  3. 推理可合并:训练完成后,增量可以合并进基座权重,推理路径与原始模型一致;也可以不合并,在运行时动态加载。两种方案在这点上没有区别。
  4. 使用方式相同:都通过“指令—回答”形式的样本进行监督微调,依靠基座已有的语言与推理能力,学习新的输入输出映射。
  5. 超参数体系相同:都需要调整秩(rank)、缩放系数(alpha)、dropout、学习率、训练轮数等参数,区别只在于注入模块集合(target_modules)的配置。
  6. 目标一致:在有限算力下,用尽量少的可训练参数完成领域适配,同时尽量保留基座的通用能力。

四、核心差异:改的东西不一样

1. 架构位置与参数量占比

设隐藏维度为 d、前馈层中间维度为 d_ff。

  • 注意力子层通常包含 Q、K、V、O 四个 d×d 矩阵,参数约为 4d²。
  • 前馈层有两个 d×d_ff 的矩阵(门控结构有三个),参数约为 2×d×d_ff。
  • 当 d_ff 取 2.7d 至 4d 时,前馈层的参数约为注意力的 1.5~2 倍,通常是单个 Transformer Block 中参数最多的部分(不计词表嵌入与输出层)。

在“所有 d×d 矩阵都注入秩为 r 的 LoRA”这一约定下,每个前馈矩阵需要 A(r×d)和 B(d_ff×r)两部分参数,合计 r×(d + d_ff),高于注意力矩阵的 2×r×d。也就是说,同样是秩为 r 的 LoRA,注入到前馈层意味着改动更大一部分基座参数,单步更新的“覆盖面”更广。

2. 表达能力:改“信息怎么流动”还是改“信息怎么被加工”

注意力 LoRA 修改的是查询与键的投影,本质上在调整“谁该关注谁”,让模型在新的上下文中形成不同的关联模式,例如把“剂量”“肾功能”等词与问题意图联系起来。同时,值投影与输出投影的改动会影响聚合回各位置的内容。

前馈层 LoRA 修改的是每个位置表示的非线性变换,本质上在调整“每个位置最终输出什么样的信息”。同时,由于残差流是各层读写共享的“通道”,位于中间层的前馈层 LoRA 还可能间接影响后续注意力计算所使用的键和查询。

从低秩更新的数学性质看,增量 BA 在任意 rank 下都只能落在一个秩不超过 r 的矩阵空间中。秩为 1 时,增量必是两个向量外积的结果。因此,无论加在何处,LoRA 本质上都在受限的更新空间里寻找“性价比最高”的方向,只是两者可选的受限空间不同。

需要说明的是,“注意力关乎推理、前馈层关乎知识”这类说法同样过于简化。复杂推理往往需要在多个前馈层之间反复传递和改写信息,指令遵循、格式控制也依赖跨位置的关联。把子层功能与能力一一对应并不可靠。

3. 知识注入能力:前馈层的“键值记忆”视角

前馈层 LoRA 在部分任务上表现更好的解释之一,来自“键值记忆”视角。相关研究把前馈层的行为解释为一组键值记忆:

  • 第一层线性映射产生的中间向量可看作“键”;
  • 非线性激活的强度近似衡量当前输入与各键的匹配程度;
  • 第二层线性映射把这些强度转化为“值”;
  • 激活过的记忆单元,其值被累加回残差流。

据此,模型中大量事实性知识可能以“值”的形式分布在各层前馈层里,在当前上下文中被“读取”出来。

LoRA 恰好可以在不改变原有记忆的前提下,为某个记忆单元补充新的“键”或“值”。例如,让包含“肌酐升高”“eGFR 下降”等线索的上下文,激活出“需要调整剂量”这一输出模式。

在“模型知识编辑”方向的研究中,直接改写事实性关联的方法也主要定位在前馈层。这和“领域知识更多与前馈层相关”的经验判断方向一致,但它仍是简化理解。例如,在解码器类模型中,同一前馈层会在序列的每个位置被反复调用,输出会随位置上下文变化,因此其“记忆”并非静态不变。

4. 训练与推理成本:差距主要在“调参工作量”

两种方案的单步开销相近。前馈层 LoRA 多了几百次矩阵乘,相比基座本身动辄数十亿次的前向与反向计算,几乎可以忽略。两者都只需要为低秩矩阵维护优化器状态。

差异更多体现在调参成本上。只注入前馈层时,可训练参数更多、覆盖面更大,数据量小或质量一般时更容易过拟合,对学习率与训练轮数更敏感,往往需要更早停止、更强的正则。

推理方面,合并权重后两者一致。不合并而在运行时加载时,会增加少量矩阵运算;前馈层 LoRA 因维度关系略多,但幅度很小。如果需要同时服务多个领域适配器,此时路由与切换机制带来的影响,通常大于注入位置本身。

5. 对基座通用能力的影响:并非“一个变一个不变”

“微调后基本语言能力不会变”的说法不准确。LoRA 冻结基座权重,确实比全量微调更能保留原分布行为,但推理时增量默认始终生效,通用能力仍可能被改变,只是程度因配置而异。

一般来说,注入模块越多、秩越大、训练轮数越多、学习率越高,基座通用行为受影响的程度越大。在“冻结基座 + 小秩 + 单前馈层”与“冻结基座 + 大秩 + 全线性层”之间做选择,更接近“保留通用能力”与“领域适配强度”之间的权衡。

此外,只挂前馈层会把改动集中在“表示加工”环节,对跨位置关联模式的调整较少;如果任务恰好依赖新的关联模式,效果可能不如意的部分就无法补上。

五、对比表格

对比维度 方案A:注意力 LoRA 方案B:前馈层 LoRA
注入位置 注意力 Q/K/V/O 投影 前馈层上行、下行(及门控)投影
同秩下可训练参数 较少 约为方案A的 1.2~1.4 倍
主要改变 位置间的信息关联与聚合 逐位置表示的加工方式
知识注入 间接,通过改变上下文关联生效 相对直接,可对应键值记忆的补充
风格与格式迁移 一般可行 一般可行
基座通用能力保留 改动面较小,相对容易保留 覆盖面大,需结合秩与轮数评估
训练与推理开销 与方案B接近,可合并 与方案A接近,可合并
调参敏感度 相对较小 数据量少时更易过拟合
典型适用 关联模式调整、对话与指令行为 术语与知识补充、领域输出模式
主要边界 难以改写事实关联与知识 难以重构跨位置关联,覆盖面大需控正则

注:各方案的效果高度依赖模型结构、数据规模与质量、秩、学习率和训练轮数,表中为一般性倾向,具体以任务验证为准。

六、典型场景选择

  • 领域知识注入:如医学术语与诊疗常识、法规条文、企业内部规范问答,更值得优先考虑前馈层 LoRA。若同时需要调整指令理解或对话行为,可采用全线性层 LoRA,并对前馈层分配较高秩。
  • 输出风格与格式迁移:如客服语气、报告模板、结构化抽取,两类方案通常都可行。数据量较少、希望尽量少改动基座时,可先以注意力 LoRA 作为低成本基线。
  • 指令遵循与多轮对话行为调整:如角色设定、拒答策略、多轮上下文中的约束保持,可优先考虑注意力 LoRA,并与前馈层 LoRA 或全线性层 LoRA 对照。
  • 强领域适配 + 高通用能力保持:例如医疗助手既要准确回答专业问题,又不能丧失日常对话与基本推理能力。此时优先考虑全线性层 LoRA 配合较小秩与秩稳定缩放,并通过保留通用能力评测集做回归检查。
  • 多领域并行服务:多个领域适配器共用同一基座,按流量动态加载。优先选择支持运行时多适配器加载的部署方式;如果当前平台只能“一个基座一份合并权重”,需要先评估显存与并发承载。

七、选型建议:按条件判断,而非按标签

  1. 先定任务性质:任务主要补“知识”还是补“行为”?前者偏前馈层,后者偏注意力,两者都需要时用全线性层。
  2. 再定数据条件:样本量小、质量参差时,少注入、低秩、早停止,前馈层 LoRA 也要同步控制秩与轮数;样本充足且经过清洗时,全线性层 LoRA 通常能更充分发挥。
  3. 用消融实验说话:在目标数据集上分别训练方案A、B、C,统一秩、学习率搜索范围和训练轮数,使用固定随机种子,用多组独立运行的结果比较,而不是凭直觉或他人结论。
  4. 评估要“双向”:既看领域指标,也看基座通用能力回归;医疗等高风险领域还要纳入事实性与安全性检查。
  5. 比较“单位参数收益”:如果前馈层 LoRA 在更少可训练参数下取得接近或更好的效果,更说明其“性价比”,而不是简单地“效果更好”。
  6. 成本与运维也要算:把调参成本、部署方式、多适配器服务能力一并纳入选型,而不是只看单次训练结果。

八、迁移与使用注意事项

  • 基座版本一致:LoRA 权重与特定版本的基座绑定。更换基座或量化精度时,应视为新的适配任务重新训练、重新评估。
  • 超参数重调:切换注入位置后,原超参数不再可靠。经验上,秩增大时学习率需要适当调低;按 alpha/r 缩放时,增大秩会导致有效更新幅度下降,可考虑秩稳定缩放(按 alpha/√r 缩放)作为备选。
  • 过拟合控制:前馈层 LoRA 覆盖面大,数据量有限时应关注 dropout、训练轮数与早停;合并权重前检查是否出现基座通用能力退化。
  • 数据质量与分布:领域微调的效果高度依赖样本质量。回答中的事实性内容应经过专业审核;高风险领域可结合检索增强生成,以弥补参数微调难以承载精确、频繁更新知识的局限。
  • 部署形态评估:如果业务要求同一基座同时承载多个领域适配器,需要确认所选平台是否支持运行时动态加载与路由。如果只能合并部署,应评估显存、并发和发布节奏。
  • 安全与合规:涉及患者数据等敏感信息时,应在数据采集、训练、日志记录各环节做好脱敏与权限控制,并保留版本与变更记录,便于回溯。

如果团队缺少从训练到部署的完整工具链,可以借助云服务商的模型服务、训练平台等托管能力来降低工程门槛。以百度智能云为例,相关能力覆盖数据处理、模型训练与部署等环节。具体配置项和支持范围以实际文档为准。

九、总结

“LoRA 加在注意力还是前馈层”并不是“哪个绝对更好”的问题,而是“哪种改动更贴合任务”的问题。

两种方案都基于“冻结基座 + 低秩增量”的同一机制,共享低显存、可合并、易迭代等优势。核心区别在于:

  • 注意力 LoRA 调整的是跨位置的信息关联,改动面较小;
  • 前馈层 LoRA 调整的是逐位置表示的加工,与前馈层的键值记忆视角相呼应,覆盖面更大。

在部分以领域知识注入为主的任务中,前馈层 LoRA 表现更好并不奇怪。但这不是普适规律,效果会随模型结构、数据规模、秩与超参数变化。对大多数需要兼顾知识与行为的目标场景来说,全线性层 LoRA 配合合理秩分配与评估机制,往往是更稳妥的起点。最终选型仍应回到“任务性质、数据条件、通用能力保持要求、部署与运维成本”这四个问题上做条件化判断。

发表评论

活动