离线蒸馏、同策略蒸馏与分支式蒸馏:大模型知识迁移的路线选择
作者:rousong2026.11.18 11:52浏览量:0简介:知识蒸馏是让小模型获得大模型能力的核心手段,但"学生如何学习"直接决定最终效果。本文对比离线蒸馏、同策略蒸馏(OPD)与分支式同策略蒸馏(BOPD)三条技术路线,从数据形式、反馈方式、样本利用率、训练成本与适用场景等维度展开分析,帮助开发者理解"为什么只在单一路径上纠错会造成浪费",并为不同任务选择合适的蒸馏方案提供判断依据。
一、对比背景:知识蒸馏为什么不止一条路
大语言模型能力强大,但部署成本高、推理延迟大,许多场景需要在有限算力下运行能力接近的”小模型”。知识蒸馏(Knowledge Distillation)因此成为模型压缩与能力迁移的主流手段:让一个规模较小的学生模型(Student)学习一个能力更强的教师模型(Teacher)的输出行为。
问题在于,”学生向老师学习”这件事的实现方式并不唯一。常见的做法是把教师生成的参考答案作为监督数据,让学生照抄;也有做法让学生自己生成,再由教师逐字打分。这两种方式看似都能完成蒸馏,但在真实效果上差异显著,且都存在一个容易被忽略的结构性缺陷:学生每一步生成都面临大量可能的分支,但实际只走通了一条,其余分支上的监督信号全部丢失。本文对比的正是三类典型路线:
- 路线A:离线蒸馏(Offline Distillation)——教师预先生成完整答案,学生在静态数据上模仿学习;
- 路线B:同策略蒸馏(On-Policy Distillation,OPD)——学生自己生成内容,教师在学生实际生成的序列上提供反馈;
- 路线C:分支式同策略蒸馏(Branching On-Policy Distillation,BOPD)——在学生生成的过程中主动暴露决策分支,让教师对多条候选路径同时给予纠正。
二、对象定义:三条路线分别做什么
2.1 离线蒸馏:照抄老师的标准答案
离线蒸馏是最早期的做法。教师模型针对输入题目生成高质量输出,整理成”输入—答案”配对数据集,学生模型在静态数据上做有监督训练。本质上是”模仿学习”:学生学习的对象是教师已经完成、风格固定的输出。
2.2 同策略蒸馏:在自己写的句子上接受纠正
离线蒸馏的痛点在于分布失配(distribution mismatch):教师生成的句子带有教师自身的措辞风格和表达习惯,而学生模型在推理阶段是自己从头逐字生成的,它实际产出的句子与教师风格不同。相当于平时学别人的笔记,考试时却要自己现场答题——学生从未在自己的输出上接受过指导。
同策略蒸馏的思路是:让学生模型自己生成一段内容,教师模型在学生实际生成的序列上逐词评估,给出”每个位置应该选择什么token”的监督信号。这样反馈直接作用于学生真实的策略分布,训练与推理的数据分布一致。
2.3 分支式同策略蒸馏:把”没走的那条路”也利用起来
论文《Branching On-Policy Distillation》(可译作”分支式同策略蒸馏”)指出:即便在OPD框架下,仍存在巨大的样本浪费。学生在每个生成位置都从数以万计的词表中选择一个token,实际只采样出一个分支,其余分支上的对错信息全部被丢弃。
以一个具体例子说明:解方程 3(x+2)-5=16,学生在写完”两边加5,得到3(x+2)=21”之后面临分叉——分支一直接除以3求解,分支二先展开括号再合并同类项,两条路都能走通并得到正确答案;还可能存在因某一步计算失误而走向错误结论的分支三。如果学生采样恰好走的是分支三,那么这次训练学到的就只有”怎么把这道题做错”,而本应被鼓励的两条正确路径,从头到尾没有获得任何监督信号。
三、相同点分析
三条路线的目标完全一致:
- 目标一致:让小模型以更低的推理成本逼近大模型的能力;
- 框架一致:都以教师模型为能力上限,以某种形式的”教师反馈”作为监督信号;
- 数据闭环一致:训练效果都依赖教师反馈的覆盖范围和准确程度;
- 适用任务一致:均可应用于文本生成、数学推理、指令跟随等序列生成任务。
差异不在于”学不学”,而在于”在什么数据上学、反馈覆盖了多少候选分支“。
四、核心差异分析
4.1 训练数据分布
| 维度 | 离线蒸馏 | 同策略蒸馏(OPD) | 分支式蒸馏(BOPD) |
|---|---|---|---|
| 数据来源 | 教师预先生成的静态答案 | 学生实时生成的序列 | 学生序列 + 分支位置的多候选扩展 |
| 分布一致性 | 训练/推理分布失配 | 训练/推理分布一致 | 分布一致,且覆盖更宽的状态空间 |
| 教师反馈位置 | 只在最终答案层面 | 只在单条实际路径上 | 单条路径 + 多个候选分支 |
| 样本利用率 | 每题一次监督 | 每题一次监督 | 每题一次,监督信号成倍放大 |
| 推理成本 | 低(离线一次性生成) | 高(训练中需教师在线评估) | 最高(需对多分支同时评估) |
| 实现复杂度 | 低 | 中 | 高 |
4.2 反馈的覆盖面:从”一条路径”到”一棵子树”
这是三条路线最本质的差异。离线蒸馏只在答案层面对齐;OPD把反馈下沉到学生实际生成的每一步,但仍然局限于单一路径;BOPD则在学生遇到关键决策点时,主动”分叉”——保留原路径的同时,对其他候选分支进行探索,让教师对正确分支给予肯定、对错误分支给予纠正。
类似文字冒险游戏:走到岔路口,只选一条路就永远无法知道另一条路会发生什么,除非存档重走。BOPD做的就是”在岔路口自动存档并探索多条支线”,教师因此能看到学生本可能走出、却被浪费掉的正确路径。
4.3 错误信号的利用效率
当学生走了错误分支时:离线蒸馏对此无能为力(数据里只有正确答案);OPD只能告诉学生”当前这条路径不行”;BOPD则额外告诉学生”哪条分支是对的,以及为什么对”。这显著提升了困难样本上的学习效率——特别是在推理类任务中,正确路径往往有多条,只押注单一路径会让训练信号高度随机。
4.4 成本与工程复杂度
BOPD的收益并非免费获得:需要教师模型对多分支并行评估,训练算力开销显著上升;同时分支的触发时机、分支数量、探索深度都需要策略设计,工程实现复杂度高于OPD。离线蒸馏的成本最低,但天花板也最低。
五、典型场景选择
- 资源受限、需要快速产出小模型:离线蒸馏足够。教师一次性生成数据,训练成本低,适合对效果要求中等、迭代周期紧的场景。
- 生成质量要求高、但算力预算有限:OPD是主流选择。训练与推理分布对齐,比离线蒸馏有明显质量收益,且实现相对直接。
- 数学推理、多步骤规划、智能体任务等高错误率场景:BOPD的价值最大。此类任务决策分支多、错误路径占比高、正确解不唯一,分支式反馈能显著提升监督信号的密度。例如在虚拟家庭任务”把杯子加热后放进咖啡机”这类多步骤任务中,中间步骤存在大量等价走法,只监督单一路径会浪费大量有效信号。
六、选型建议与注意事项
- 按错误多样性决定分支必要性:如果任务正确路径唯一、步骤少,OPD已足够;若存在多条等价正确路径或错误率较高,应评估BOPD。
- 算力预算先行测算:BOPD的教师推理开销与分支数成正比,上线前需评估训练成本是否在可接受范围。
- 分支策略需要调参:分支过多会稀释训练信号、推高成本;分支过少则收益有限,通常应优先在置信度低、方差大的决策点触发分支。
- 注意反馈一致性问题:多分支同时纠正时,需保证教师对各分支的评分标准一致,避免引入噪声。
- 渐进式迁移:可先以离线蒸馏构建基线,再切换到OPD,最后在困难子集上启用分支机制,降低一次性切换的工程风险。
七、总结
三条路线的演进逻辑清晰:离线蒸馏解决”有没有监督数据”,同策略蒸馏解决”监督数据与真实分布是否一致”,分支式同策略蒸馏则解决”监督信号是否覆盖了足够多的候选路径”。从”一条路径走到黑”到”在岔路口探索多条支线”,本质是用更高的训练算力换取更高的样本利用效率。选型时应围绕任务的错误多样性、算力预算与工程能力做条件化判断,而非默认某一路线最优。

登录后可评论,请前往 登录 或 注册