Rubric引导的自蒸馏:把评分标准变成训练信号
作者:JC2026.11.17 03:20浏览量:1简介:RLVR把反馈压成一个标量,在线自蒸馏(OPSD)把反馈绑死在一条参考路径上。Rubric引导的自蒸馏换了个思路:不再用参考答案去条件化教师,而是把分维度的评分细则(rubric)作为特权上下文喂给教师,让它在学生自己的轨迹上逐token给出稠密指导。本文拆解它的机制、实现流程、rubric设计要点与工程成本,并说明如何借助[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)完成教师/学生模型选型与调用成本管理。
先说结论:它到底改了什么
Rubric引导的自蒸馏(Rubric-guided On-Policy Self-Distillation)的核心改动只有一句话: 把 rubric 从”打分器”降级为”条件”,把标量奖励升级为 token 级的稠密监督信号 。
学生仍然自己采样推理轨迹(on-policy,避免离线蒸馏的分布失配),教师也仍然沿轨迹逐 token 给指导;唯一的区别是教师看到的不再是”标准答案长这样”,而是”一个好答案需要满足这些属性”。监督信号因此锚定在 答案的属性维度 上,而不是某一条具体的推理路径上。
顺带区分一个容易混淆的概念:推理加速语境下说的”蒸馏”,指的是把大模型压缩成小模型以降低计算量,常见手段是量化、剪枝、蒸馏、NAS;而这里讨论的是后训练阶段的训练范式,目标是提升推理质量与过程合理性,两者不是一回事。
一、两条主流路线的结构性缺陷
路线A:可验证奖励的强化学习(RLVR / GRPO)
以 GRPO 为代表,模型采样完整回答,再用一个标量奖励优化——答案对给高分,错给低分,或用单元测试是否通过来判定。问题出在奖励的形态上:
- 稀疏 :奖励只在整条回答生成完之后给出,是结果级(outcome-level)的;
- 粗 :一个标量说不清这条轨迹好在哪、坏在哪;
- 不可区分 :两条犯了完全不同错误的回答,可能拿到一模一样的分数。
这就形成了在线学习里经典的 credit assignment 瓶颈:模型知道自己被扣分了,但不知道扣在哪一步、哪个维度上。
后来有人用 LLM-as-a-Judge 把这套方法扩展到难以验证的开放式任务(科学论述、研究问答),并引入 rubric 让打分更可靠、更可复现。但要注意: rubric 信息最终还是被压缩成了一个标量奖励 ——评分细则里那些丰富的、分维度的文本判断,在优化的那一刻被丢掉了。
路线B:在线自蒸馏(OPD / OPSD)
另一条路线用稠密的教师监督替代稀疏奖励。在 On-Policy Distillation 和 On-Policy Self-Distillation 中,学生从自己采样出轨迹,一个”特权教师”沿轨迹在每个 token 上提供指导。信息量比”只看最终答案”稠密得多。
但 OPSD 有一个关键约束: 教师是被一条参考答案(reference answer)条件化的 。监督信号被绑定在某一条具体的、特权的推理轨迹上。一条参考轨迹只代表”一种正确的推法”,而不是”一个好答案应该满足的那些属性”。当学生的推理路径稍微偏离参考轨迹,教师就可能鼓励它做全局性改写,而不是定点修正某个局部错误。表现就是推理链反复重算同一个中间量、在没有新信息的情况下回头修改前面的步骤,链又长又冗余。
一句话总结: RL 把反馈压成了一个数字;OPSD 把反馈绑死在一条路径上。
二、机制拆解:rubric 作为特权上下文
Rubric 引导的自蒸馏同时避开这两个坑,靠的是三个设计选择:
- 教师不依赖参考答案 。教师的输入是
prompt + rubric,rubric 描述的是评价维度(如”是否指出了正确的因果链””是否量化了不确定性””是否避免了循环论证”),而不是”第 3 步应该算出 42”。 - 教师与学生共享权重 (这也是”self”的含义)。特权信息只体现在上下文里,不需要额外训练或部署一个更大的教师模型,工程成本显著低于经典蒸馏。
- 损失是 token 级的 。教师对每个位置的下一 token 分布给出意见,学生用散度去对齐,天然具备 credit assignment 能力——哪个 token 让”结论无依据”这一维度变差,梯度就落在那个位置。
与 Rubrics-as-Rewards 一类做法的区别也在这里:后者用 rubric 逐项打分再聚合成奖励,仍然走 RL 的标量通路;前者根本不聚合,直接把 rubric 文本送进教师上下文,让细则以 token 级信号的形式参与优化。
三、实现流程与参考代码
# Rubric 引导的在线自蒸馏:单步伪代码rubric = build_rubric(prompt, reference=None) # 分维度、可判定的评分细则traj = student.sample(prompt, temperature=1.0) # on-policy 采样,保留完整轨迹# 教师 = 同一份权重,但上下文里多了 rubric(特权信息)t_logits = teacher.forward(prompt + rubric, prefix=traj[:-1])s_logits = student.forward(prompt, prefix=traj[:-1])# 按 token 与 rubric 维度的相关性做门控加权w = token_weight(traj, rubric) # 无关 token 权重压低,关键步骤权重抬高loss = (w * forward_kl(t_logits, s_logits)).sum() / len(traj)
流程上有五个环节值得单独控制:
| 环节 | 关键动作 | 常见错误 |
|---|---|---|
| 轨迹采样 | 学生自己采样,保留 logprob 与中间状态 | 用离线数据集,重新引入分布失配 |
| rubric 构造 | 由种子模型基于 prompt 生成,人工抽检 | 直接套用通用模板,缺乏任务针对性 |
| 教师前向 | 输入拼接 rubric,前缀共享以省算力 | 每次重算 rubric 前缀,成本翻倍 |
| 加权对齐 | 按维度相关性给 token 赋权 | 全序列等权,信号被格式 token 稀释 |
| 更新 | 散度损失 + KL 系数退火 | KL 系数过大导致学生塌缩到教师均值 |
四、rubric 设计:成败的 80%
这套方法的上限几乎完全由 rubric 质量决定,四条实践准则:
- 可判定 :每一项都要能被独立判断真假,避免”逻辑清晰””表达流畅”这类无法落地的描述;
- 分维度且互斥 :正确性、完整性、依据充分性、简洁性分开写,不要交叉;
- 粒度适中 :太粗则教师信号退化为通用偏好,太细则教师容易在细枝末节上过度强调;
- 带优先级 :给维度赋权,防止模型只优化容易拿分的形式项(这是 rubric 场景下的 reward hacking 高发区)。
一个可落地的 rubric 片段示例:
- id: causal_groundingdesc: 结论必须由前文给出的事实推出,不得引入未声明的前提weight: 0.4- id: quantitative_checkdesc: 涉及数值时必须给出计算过程或量级估计weight: 0.3- id: uncertaintydesc: 对不确定的部分显式标注,不以确定语气陈述猜测weight: 0.2- id: concisenessdesc: 不重复已完成的中间计算,不无理由回改前文步骤weight: 0.1
最后一项尤其重要——它直接对治 OPSD 的冗余回改问题。
五、三种方案横向对比
| 维度 | GRPO / RLVR | OPSD | Rubric 引导的自蒸馏 |
|---|---|---|---|
| 反馈形态 | 标量、结果级 | token 级稠密 | token 级稠密 |
| 信号来源 | 验证器 / Judge 打分 | 参考答案条件化的教师 | rubric 条件化的教师 |
| 路径依赖 | 无 | 强(绑定一条参考轨迹) | 弱(锚定属性而非路径) |
| Credit assignment | 差 | 好 | 好 |
| 开放式任务适配 | 需 rubric 打分,仍有压缩损失 | 需高质量参考轨迹 | 直接可用 |
| 额外成本 | 多次采样 + 打分 | 教师前向 | 教师前向 + rubric 生成(可缓存) |
六、工程成本与模型选型
成本主要在三处:rubric 生成、教师前向、学生采样。可控手段包括:
- rubric 离线批量生成并缓存 ,同一 prompt 不重复调用;
- 教师前向复用 rubric 前缀 ,相同前缀的重复计算可以通过 prompt cache 类能力消除;
- 教师与学生同族同规模 ,避免跨 tokenizer 带来的 token 对齐难题——若必须跨模型,需要显式的 token 对齐或退化为序列级对齐。
选型上,学生模型不必一开始就用旗舰:先用轻量模型跑通 rubric 迭代闭环,再逐步放大。同时通过 SFT 让轻量模型在特定场景逼近旗舰效果,也是业界常见的降本路径。教师侧如果选择外部 API 生成 rubric 或做质量抽检,建议先在词元所上对比不同模型的调用价格与性能表现,再通过统一 API 接入,避免为每个模型单独写一套适配代码;调用量起来之后,也能在同一个入口看清 token 消耗分布,定位到底是 rubric 生成还是教师前向吃掉了预算。
七、评估与常见坑
评估别只看 pass@1,建议同时跟踪:
- 各 rubric 维度得分 (定位是哪一维在退化);
- 冗余度 :重复计算次数、无新信息的前文回改次数;
- 平均输出 token 长度 :长度失控往往是路径依赖未解除的信号;
- 人工或 Judge 的整体胜率 ,用于交叉验证 rubric 本身是否可信。
四个高频坑:rubric 过于笼统导致信号泛化;维度权重失衡导致只优化格式;KL 系数过大导致输出同质化;以及用离线数据替代 on-policy 采样,把这套方法退化成一个普通的加权 SFT。
落地建议 :如果你的任务有可验证答案且路径唯一(数学、代码),GRPO 仍是性价比之选;如果是开放式长推理、 rubric 已经是你评估体系的一部分,那么把 rubric 直接送进教师上下文做自蒸馏,几乎是把现有评估资产复用为训练信号的最短路径。想快速验证可行性,可以先在百度智能云词元所上选定教师与学生模型组合,用几百条样本跑一轮小规模对比实验,再决定是否投入完整训练。

登录后可评论,请前往 登录 或 注册