logo

反向传播和低秩近似怎么选:工程选型指南

作者:十万个为什么2026.11.16 11:01浏览量:0

简介:训练和压缩常被放在一起讨论,但前者负责学习参数,后者负责让已有参数占用更少资源。本文用六维对比表说明二者差异,给出训练与部署两阶段的选型清单,并讲解秩 r 的确定方法、迁移步骤和常见错误,帮助工程团队在动手前明确技术路线与验收标准。

一、先说结论

训练和压缩解决的是两件事。反向传播用来求梯度,让参数朝降低损失的方向更新。低秩近似用来把已经训练好的权重换成更小的表示,以换取存储和计算上的节省。选型时先问一个问题:当前任务是要改变参数,还是要在保持已有参数表现的前提下减少资源?前者走训练路线,后者走压缩路线。

二、定义

2.1 反向传播

反向传播基于链式法则,计算损失对每个参数的梯度。过程分两步。前向传播按层计算输出,损失函数据此给出误差。反向传播从输出层开始,把误差对中间变量的偏导数逐层传回输入侧,得到每个参数的梯度。优化器(如梯度下降及其变体)再用梯度更新参数。

它解决的核心问题是高效求梯度。若对数亿个参数逐个用数值方法求导,计算量会随参数规模急剧增长。反向传播复用中间结果,使梯度计算的代价与一次前向计算处于同一数量级。

下面的伪代码展示全连接网络的单样本计算顺序。第 l 层为 z[l] = W[l] a[l-1] + b[l],a[0] 为输入 x。

  1. # 前向传播,l = 1 ... L
  2. for l in 1..L:
  3. z[l] = W[l] @ a[l-1] + b[l]
  4. a[l] = activation(z[l])
  5. loss = criterion(a[L], target)
  6. # 反向传播
  7. delta = dloss_da[L] * activation_derivative(z[L]) # 输出层误差
  8. for l in L..1:
  9. grad_W[l] = delta @ a[l-1].T
  10. grad_b[l] = delta
  11. if l > 1: # 第 1 层的输入 a[0] 是数据,不需要继续传播
  12. delta = (W[l].T @ delta) * activation_derivative(z[l-1])
  13. # 优化器更新(以梯度下降为例)
  14. for l in 1..L:
  15. W[l] -= lr * grad_W[l]
  16. b[l] -= lr * grad_b[l]

要点有三。第一,激活导数作用于前一层的 z[l-1],所以循环在 l = 1 时必须停止,因为 z[0] 不存在。第二,dlossda[L] 由损失函数决定,例如均方误差的导数是 2(a[L] − target)。第三,上面的代码只处理一个样本。批次训练时,设批次大小为 B,每行一个样本,delta 的形状为 B × n_l,a[l-1] 的形状为 B × n{l-1},损失取批均值,则:

grad_W[l] = delta.T @ a[l-1] / B
grad_b[l] = delta.sum(axis=0) / B

偏置梯度需要沿批次维度求和再除以 B。若直接套用单样本代码,梯度尺度会随批次大小变化,学习率需要重新调整。

其思想可追溯到六七十年代的自动微分研究。1986 年,Rumelhart、Hinton 与 Williams 在一篇系统论文中阐述了它在多层神经网络中的应用,此后它成为训练多层网络的主流方法。

2.2 低秩近似

低秩近似用秩更低的矩阵逼近原矩阵。设权重矩阵 W 的形状为 m × n。若将其近似为 A(m × r)与 B(r × n)的乘积,参数量从 m × n 降为 r × (m + n)。只有当 r < mn/(m + n) 时,参数量才会减少。

以 m = n = 4096、r = 64 为例,参数量从约 1678 万降到约 52 万,比例约为 3.1%。这个比例只是参数量的算术结果。推理延迟和显存占用不一定同比下降,因为两次小矩阵乘法在具体硬件上的效率未必高。模型精度是否保持,取决于奇异值的衰减速度,需要在实际任务上测量。

  1. # 对已有权重做截断奇异值分解,保留前 r 个奇异值
  2. U, S, Vt = svd(W)
  3. A = U[:, :r] * S[:r] # 形状 m x r
  4. B = Vt[:r, :] # 形状 r x n
  5. W_approx = A @ B # 形状 m x n,秩至多为 r

低秩近似的理论基础是截断奇异值分解。Eckart 与 Young 于 1936 年证明,在 Frobenius 范数下,截断 SVD 给出给定秩下的最优逼近。Mirsky 于 1960 年把结论推广到包括谱范数在内的酉不变范数。这里的”最优”只针对矩阵本身的逼近误差,并不保证压缩后的网络在任务指标上最优。

另有一类做法称为低秩适配(如 LoRA)。它冻结原权重,为微调增加一对低秩矩阵,把参数更新限制在低秩子空间中。LoRA 属于训练阶段的技术,仍然依赖反向传播。它与压缩容易混淆,但二者限制的对象不同:LoRA 限制的是更新量,压缩限制的是已有权重本身。

三、共同基础

两者有三个共同点。

第一,数学基础相同。反向传播中的梯度计算由矩阵乘法、转置和逐元素运算组成。低秩近似的核心是矩阵分解与乘积重构,同样依赖矩阵乘法和转置。

第二,操作对象相同。两者都围绕模型中的线性投影矩阵展开,因此可以共用线性代数库和硬件加速路径。

第三,都会改变模型的最终行为。训练改变参数的取值,压缩改变参数的表示形式。两者都需要评估,不能只检查数学形式是否正确。

共同点不代表二者可以互换。同一个矩阵既可能需要训练,也可能需要压缩,但两件事的目标、约束和验收方式不同,必须分开决策。

四、六维对比表

维度 反向传播(训练) 低秩近似(压缩) LoRA(低秩微调)
目标 求梯度,驱动参数学习 用更少参数近似已有权重 冻结原权重,学习低秩增量
适用阶段 预训练、全量微调 训练完成后的部署或优化阶段 微调阶段
参数约束 不设秩限制,在完整参数空间中搜索 秩 r 固定,结果秩至多为 r 更新量限定为秩 r 的增量
计算与存储成本 训练每步需前向与反向,激活值占用显存 存储从 mn 降为 r(m+n),推理计算相应减少,收益取决于硬件 只优化小矩阵,但仍需经过冻结网络做前向与反向
精度影响 精度由数据、模型和优化过程共同决定 精度损失随 r 降低而增加,取决于奇异值衰减 取决于任务和 r,通常需与全量微调对比
评估方式 验证集损失、任务指标、训练曲线 原模型与压缩模型的任务指标、延迟、显存、存储对比 任务指标对比全量微调,并检查过拟合

表中描述的是结构性关系。具体延迟、显存和精度变化,需要在目标硬件和目标任务上实测。

五、选型清单

5.1 判断顺序

  1. 任务要不要改变参数?要改变,进入第 2 步。只做压缩,进入第 4 步。
  2. 全量微调的显存、训练时长和数据量能否承受?能承受,使用反向传播做全量训练或微调。不能承受,且任务允许冻结主干,进入第 3 步。
  3. 用 LoRA 训练,并在验证集上确认指标与全量微调的差距可以接受。
  4. 是否已经写明精度下降的上限和资源目标?没有,先定义这两项,再继续。
  5. 为每个候选层确定 r,并确认 r < mn/(m + n),保证参数量确实减少。
  6. 在目标硬件上实测延迟、吞吐和显存。如果没有收益,只保留存储收益,或放弃压缩。

5.2 检查表

  • 训练阶段:是否需要改变参数?需要则使用反向传播。
  • 资源预算:全量微调的显存和时长是否可承受?
  • 精度约束:是否写明任务指标可接受的下降幅度?
  • 存储或延迟目标:是否有具体数字,而不是”更快一些”?
  • 参数量:每个候选层的 r(m + n) 是否明显小于 mn?
  • 硬件验证:目标硬件上是否实测过延迟或吞吐收益?
  • 回滚:是否保留了原始权重和原始模型的评估结果?

六、秩的选择方法

可以单独使用下面三种方法,也可以组合使用。

6.1 奇异值能量占比

奇异值的平方和代表矩阵的能量。选择最小的 r,使前 r 项能量占总能量的比例达到目标值,例如 0.95。这个阈值只是起点,不是通用标准,需要结合任务结果确定。

  1. s = np.linalg.svd(W, compute_uv=False) # 奇异值,降序排列
  2. energy = np.cumsum(s**2) / np.sum(s**2)
  3. r = int(np.searchsorted(energy, 0.95)) + 1

6.2 验证集消融

取一组候选秩,例如 8、16、32、64、128,分别压缩并在验证集上评估。把任务指标和参数量画成曲线,选择曲线拐点附近的 r。这种方法最贴近真实目标,但需要多次评估,成本较高。

6.3 逐层敏感度

每次只截断一层,保持其他层不变,记录任务指标下降幅度。对敏感层使用较大的 r,对不敏感层使用较小的 r。逐层结果只说明单层影响。多层同时压缩后,误差可能叠加,因此最终仍要做整体评估。

七、迁移步骤

从全量权重迁移到低秩部署,建议按以下步骤执行。

  1. 固定基线。记录原模型在评估集上的任务指标、推理延迟、显存占用和存储大小。
  2. 列出候选层。通常是注意力和前馈网络中的线性投影矩阵。嵌入层和输出层形状与作用不同,需要单独评估。
  3. 对每个候选层计算奇异值谱,并按能量占比或敏感度确定 r。
  4. 用截断 SVD 生成 A 与 B,把原层替换为两个线性层。
  1. # 原层:y = W @ x + bias
  2. # 替换后:y = A @ (B @ x) + bias,中间维度为 r
  1. 对压缩后的模型做整体评估,覆盖常规样本、长尾输入和边界场景。
  2. 如果指标下降超出预设上限,可以提高相关层的 r,或对敏感层回退到原始权重。也可以用反向传播对 A 与 B 做少量微调以恢复精度。这属于训练动作,需要单独评估。
  3. 在目标硬件上实测延迟、吞吐和显存,确认收益真实存在。
  4. 灰度上线,并保留原始权重作为回滚版本。

八、常见错误与风险

  1. 混谈训练与压缩。以为压缩可以替代训练,或以为训练出的参数天然适合压缩。纠正方法是先确定阶段,再选技术。
  2. 只看参数量。3.1% 的参数比例不等于延迟降到 3.1%。纠正方法是在目标硬件上实测延迟、吞吐和显存。
  3. 忽略批次维度。直接套用单样本伪代码,会导致梯度尺度错误。纠正方法是按批次公式实现,并确认损失的聚合方式。
  4. 用 SVD 最优性代替任务最优。截断 SVD 最小化的是矩阵逼近误差,任务关键信息可能集中在较小的奇异值方向上。纠正方法是以任务指标作为验收标准。
  5. 合并 LoRA 后期待结果仍是低秩。原权重 W0 与增量 BA 相加后,结果通常不再是低秩。如果需要低秩部署,应保留 A 与 B 两个因子。
  6. 秩选得过低。精度可能明显下降,且下降往往在特定样本上才暴露。纠正方法是在覆盖长尾场景的验证集上测试。
  7. 只做逐层测量,不做整体测量。多层误差会叠加。纠正方法是在所有层压缩后做整体评估。

使用本文方法前,请先确认目标任务、精度阈值和硬件条件。选型结论应基于自己的数据与硬件实测结果,而不是本文给出的示例数字。

发表评论

活动