logo

Rubric引导的自蒸馏:把评分标准变成训练信号

作者:JC2026.11.17 03:20浏览量:1

简介:RLVR把反馈压成一个标量,在线自蒸馏(OPSD)把反馈绑死在一条参考路径上。Rubric引导的自蒸馏换了个思路:不再用参考答案去条件化教师,而是把分维度的评分细则(rubric)作为特权上下文喂给教师,让它在学生自己的轨迹上逐token给出稠密指导。本文拆解它的机制、实现流程、rubric设计要点与工程成本,并说明如何借助[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)完成教师/学生模型选型与调用成本管理。

先说结论:它到底改了什么

Rubric引导的自蒸馏(Rubric-guided On-Policy Self-Distillation)的核心改动只有一句话: 把 rubric 从”打分器”降级为”条件”,把标量奖励升级为 token 级的稠密监督信号 。

学生仍然自己采样推理轨迹(on-policy,避免离线蒸馏的分布失配),教师也仍然沿轨迹逐 token 给指导;唯一的区别是教师看到的不再是”标准答案长这样”,而是”一个好答案需要满足这些属性”。监督信号因此锚定在 答案的属性维度 上,而不是某一条具体的推理路径上。

顺带区分一个容易混淆的概念:推理加速语境下说的”蒸馏”,指的是把大模型压缩成小模型以降低计算量,常见手段是量化、剪枝、蒸馏、NAS;而这里讨论的是后训练阶段的训练范式,目标是提升推理质量与过程合理性,两者不是一回事。

一、两条主流路线的结构性缺陷

路线A:可验证奖励的强化学习(RLVR / GRPO)

以 GRPO 为代表,模型采样完整回答,再用一个标量奖励优化——答案对给高分,错给低分,或用单元测试是否通过来判定。问题出在奖励的形态上:

  • 稀疏 :奖励只在整条回答生成完之后给出,是结果级(outcome-level)的;
  • 粗 :一个标量说不清这条轨迹好在哪、坏在哪;
  • 不可区分 :两条犯了完全不同错误的回答,可能拿到一模一样的分数。

这就形成了在线学习里经典的 credit assignment 瓶颈:模型知道自己被扣分了,但不知道扣在哪一步、哪个维度上。

后来有人用 LLM-as-a-Judge 把这套方法扩展到难以验证的开放式任务(科学论述、研究问答),并引入 rubric 让打分更可靠、更可复现。但要注意: rubric 信息最终还是被压缩成了一个标量奖励 ——评分细则里那些丰富的、分维度的文本判断,在优化的那一刻被丢掉了。

路线B:在线自蒸馏(OPD / OPSD)

另一条路线用稠密的教师监督替代稀疏奖励。在 On-Policy Distillation 和 On-Policy Self-Distillation 中,学生从自己采样出轨迹,一个”特权教师”沿轨迹在每个 token 上提供指导。信息量比”只看最终答案”稠密得多。

但 OPSD 有一个关键约束: 教师是被一条参考答案(reference answer)条件化的 。监督信号被绑定在某一条具体的、特权的推理轨迹上。一条参考轨迹只代表”一种正确的推法”,而不是”一个好答案应该满足的那些属性”。当学生的推理路径稍微偏离参考轨迹,教师就可能鼓励它做全局性改写,而不是定点修正某个局部错误。表现就是推理链反复重算同一个中间量、在没有新信息的情况下回头修改前面的步骤,链又长又冗余。

一句话总结: RL 把反馈压成了一个数字;OPSD 把反馈绑死在一条路径上。

二、机制拆解:rubric 作为特权上下文

Rubric 引导的自蒸馏同时避开这两个坑,靠的是三个设计选择:

  1. 教师不依赖参考答案 。教师的输入是 prompt + rubric,rubric 描述的是评价维度(如”是否指出了正确的因果链””是否量化了不确定性””是否避免了循环论证”),而不是”第 3 步应该算出 42”。
  2. 教师与学生共享权重 (这也是”self”的含义)。特权信息只体现在上下文里,不需要额外训练或部署一个更大的教师模型,工程成本显著低于经典蒸馏。
  3. 损失是 token 级的 。教师对每个位置的下一 token 分布给出意见,学生用散度去对齐,天然具备 credit assignment 能力——哪个 token 让”结论无依据”这一维度变差,梯度就落在那个位置。

与 Rubrics-as-Rewards 一类做法的区别也在这里:后者用 rubric 逐项打分再聚合成奖励,仍然走 RL 的标量通路;前者根本不聚合,直接把 rubric 文本送进教师上下文,让细则以 token 级信号的形式参与优化。

三、实现流程与参考代码

  1. # Rubric 引导的在线自蒸馏:单步伪代码
  2. rubric = build_rubric(prompt, reference=None) # 分维度、可判定的评分细则
  3. traj = student.sample(prompt, temperature=1.0) # on-policy 采样,保留完整轨迹
  4. # 教师 = 同一份权重,但上下文里多了 rubric(特权信息)
  5. t_logits = teacher.forward(prompt + rubric, prefix=traj[:-1])
  6. s_logits = student.forward(prompt, prefix=traj[:-1])
  7. # 按 token 与 rubric 维度的相关性做门控加权
  8. w = token_weight(traj, rubric) # 无关 token 权重压低,关键步骤权重抬高
  9. loss = (w * forward_kl(t_logits, s_logits)).sum() / len(traj)

流程上有五个环节值得单独控制:

环节 关键动作 常见错误
轨迹采样 学生自己采样,保留 logprob 与中间状态 用离线数据集,重新引入分布失配
rubric 构造 由种子模型基于 prompt 生成,人工抽检 直接套用通用模板,缺乏任务针对性
教师前向 输入拼接 rubric,前缀共享以省算力 每次重算 rubric 前缀,成本翻倍
加权对齐 按维度相关性给 token 赋权 全序列等权,信号被格式 token 稀释
更新 散度损失 + KL 系数退火 KL 系数过大导致学生塌缩到教师均值

四、rubric 设计:成败的 80%

这套方法的上限几乎完全由 rubric 质量决定,四条实践准则:

  • 可判定 :每一项都要能被独立判断真假,避免”逻辑清晰””表达流畅”这类无法落地的描述;
  • 分维度且互斥 :正确性、完整性、依据充分性、简洁性分开写,不要交叉;
  • 粒度适中 :太粗则教师信号退化为通用偏好,太细则教师容易在细枝末节上过度强调;
  • 带优先级 :给维度赋权,防止模型只优化容易拿分的形式项(这是 rubric 场景下的 reward hacking 高发区)。

一个可落地的 rubric 片段示例:

  1. - id: causal_grounding
  2. desc: 结论必须由前文给出的事实推出,不得引入未声明的前提
  3. weight: 0.4
  4. - id: quantitative_check
  5. desc: 涉及数值时必须给出计算过程或量级估计
  6. weight: 0.3
  7. - id: uncertainty
  8. desc: 对不确定的部分显式标注,不以确定语气陈述猜测
  9. weight: 0.2
  10. - id: conciseness
  11. desc: 不重复已完成的中间计算,不无理由回改前文步骤
  12. weight: 0.1

最后一项尤其重要——它直接对治 OPSD 的冗余回改问题。

五、三种方案横向对比

维度 GRPO / RLVR OPSD Rubric 引导的自蒸馏
反馈形态 标量、结果级 token 级稠密 token 级稠密
信号来源 验证器 / Judge 打分 参考答案条件化的教师 rubric 条件化的教师
路径依赖 无 强(绑定一条参考轨迹) 弱(锚定属性而非路径)
Credit assignment 差 好 好
开放式任务适配 需 rubric 打分,仍有压缩损失 需高质量参考轨迹 直接可用
额外成本 多次采样 + 打分 教师前向 教师前向 + rubric 生成(可缓存)

六、工程成本与模型选型

成本主要在三处:rubric 生成、教师前向、学生采样。可控手段包括:

  • rubric 离线批量生成并缓存 ,同一 prompt 不重复调用;
  • 教师前向复用 rubric 前缀 ,相同前缀的重复计算可以通过 prompt cache 类能力消除;
  • 教师与学生同族同规模 ,避免跨 tokenizer 带来的 token 对齐难题——若必须跨模型,需要显式的 token 对齐或退化为序列级对齐。

选型上,学生模型不必一开始就用旗舰:先用轻量模型跑通 rubric 迭代闭环,再逐步放大。同时通过 SFT 让轻量模型在特定场景逼近旗舰效果,也是业界常见的降本路径。教师侧如果选择外部 API 生成 rubric 或做质量抽检,建议先在词元所上对比不同模型的调用价格与性能表现,再通过统一 API 接入,避免为每个模型单独写一套适配代码;调用量起来之后,也能在同一个入口看清 token 消耗分布,定位到底是 rubric 生成还是教师前向吃掉了预算。

七、评估与常见坑

评估别只看 pass@1,建议同时跟踪:

  • 各 rubric 维度得分 (定位是哪一维在退化);
  • 冗余度 :重复计算次数、无新信息的前文回改次数;
  • 平均输出 token 长度 :长度失控往往是路径依赖未解除的信号;
  • 人工或 Judge 的整体胜率 ,用于交叉验证 rubric 本身是否可信。

四个高频坑:rubric 过于笼统导致信号泛化;维度权重失衡导致只优化格式;KL 系数过大导致输出同质化;以及用离线数据替代 on-policy 采样,把这套方法退化成一个普通的加权 SFT。

落地建议 :如果你的任务有可验证答案且路径唯一(数学、代码),GRPO 仍是性价比之选;如果是开放式长推理、 rubric 已经是你评估体系的一部分,那么把 rubric 直接送进教师上下文做自蒸馏,几乎是把现有评估资产复用为训练信号的最短路径。想快速验证可行性,可以先在百度智能云词元所上选定教师与学生模型组合,用几百条样本跑一轮小规模对比实验,再决定是否投入完整训练。

发表评论

活动