logo

结果监督与过程监督:奖励模型怎么选

作者:暴富20212026.11.18 11:51浏览量:0

简介:本文对比结果奖励模型与过程奖励模型的判断方式,梳理人工标注与蒙特卡洛估计两种步骤标签的成本与偏差,并给出按标注预算、反馈需求和标签质量选型的思路。读完可以判断自己的训练场景适合哪条路线,以及如何组合两者降低成本。

对比背景

训练一个能逐步批改解题过程的模型,关键在于获得可靠的奖励信号。奖励模型是给模型输出打分的工具,它决定强化学习或数据筛选时模型朝哪个方向优化。奖励模型大致分为两类:只看最终结果的结果奖励模型(Outcome Reward Model,ORM),以及对每一步都给出评价的过程奖励模型(Process Reward Model,PRM)。两者的区别看似只是评分粒度不同,但在标注成本、信号质量和反馈价值上差异很大。选错路线,会直接影响训练效果和预算。

对象定义

结果奖励模型(ORM)

  • 输入:完整的题目与解答。
  • 输出:一个整体分数,表示最终答案正确的可能性。
  • 训练标签:只需要最终答案的正误。很多数据集本身就带有这类标签,因此标注成本低。
  • 局限:无法指出解答从哪一步开始出错。

过程奖励模型(PRM)

  • 输入:题目与逐步推导的过程。
  • 输出:每一步的评分,能够定位首次出错的位置。
  • 训练标签:需要步骤级标注,可以由人工完成,也可以用估计方法生成。
  • 优势:反馈具体,便于定位错误并指导修改。

相同点分析

两类模型在以下方面有共同之处:

  • 目标一致:都为模型提供可用于优化或筛选的质量信号。
  • 训练后都是打分函数,输入一段解答,输出一个评价。
  • 都可以用于推理阶段的候选排序,例如从多个生成结果中挑出评分最高的一个(best-of-N)。
  • 都受训练数据分布影响。遇到与训练数据差异较大的题目时,判断都可能不稳定。
  • 评测思路相通:都可以通过与人工判断的一致率来衡量质量。

核心差异分析

输出形式与模型结构

ORM 输出单一标量,PRM 输出一组步骤分数。PRM 要求模型对中间状态做局部判断,因此训练数据的组织方式更复杂,推理时也需要对每一步分别计算。

步骤标签的两种来源

获得 PRM 训练标签主要有两条路径。

人工标注:由具备专业知识的标注者逐步阅读并判断对错。准确性最高,但每一步都需要人工参与,数据规模受限于专家的时间,难以批量扩展。

蒙特卡洛估计:从某一步开始,让模型多次续写直到得出结果,用续写结果的正确率估计该步的价值。这种方法省去了人工,但每个步骤都要采样几十到上百次,推理开销显著。

下面是一个通用示例,用于说明估计流程:

  1. def estimate_step_value(prefix, n_samples, continue_fn, check_fn):
  2. """从给定前缀多次续写,用正确率估计该步的价值。"""
  3. hits = 0
  4. for _ in range(n_samples):
  5. completion = continue_fn(prefix) # 从当前步骤继续生成完整解答
  6. if check_fn(completion): # 判断最终答案是否正确
  7. hits += 1
  8. return hits / n_samples # 正确率作为该步的软标签

信号质量与偏差

蒙特卡洛估计的核心问题在于,它把”能否从这一步走到正确答案”等同于”这一步本身是否正确”。假设某一步推导有误,但后续续写恰好修正了错误并得出正确答案,那么这一步会被误标为正确。在后续容易自我修正的任务中,这种偏差更突出,因为错误的步骤经常被后面的推导掩盖。

人工标注没有这种逻辑偏差,但标注者之间可能出现分歧,因此需要明确的标注准则,例如什么情况下判定一步为错误,步骤如何切分。

ORM 的偏差来自另一个方面:最终答案正确的解答可能包含过程错误,但仍会得到较高分数。模型因此可能学到”结果对就行”的判断标准。

反馈价值与可解释性

ORM 告诉使用者结果好坏,PRM 告诉使用者哪一步开始偏离。若任务需要定位错误、给出修改建议,PRM 的反馈更直接。若任务只需要筛选最终答案,ORM 通常已经足够。

一个值得关注的信号:整体判断中的过程线索

有研究观察到一个现象:当要求模型判断最终答案是否正确时,即使提示中没有要求检查中间步骤,模型也常会在推理过程中重新推演解题步骤,并指出其中的错误。这意味着可以利用模型已有的推理能力,在判断结论时获得过程层面的线索,作为一种低成本的中间路线。

但这种信号的稳定性取决于模型能力和提示方式。使用前需要通过抽样评估确认其与人工判断的一致程度,不能直接当作人工标注的替代品。

对比表格

维度 结果奖励模型(ORM) 过程奖励模型(PRM)
评分粒度 整体一个分数 每一步一个分数
标签来源 最终答案的正误 人工逐步标注或估计方法
标注成本 低 人工标注高;估计方法的推理成本高
错误定位 无法定位 可定位首次出错的步骤
主要偏差风险 结果正确但过程有误的解答得分偏高 估计方法可能把侥幸正确的步骤标为正确
训练与部署复杂度 较低 较高
典型用途 结果筛选、候选排序 过程纠错、细粒度训练信号

典型场景选择

  • 只需判断最终答案是否可用,例如大批量数据筛选:优先考虑 ORM。标注成本低,流程简单,便于快速落地。
  • 需要向使用者解释错误位置,例如作业批改辅助:更适合 PRM,因为反馈可以精确到步骤。
  • 标注预算有限,但算力充足:可以考虑蒙特卡洛估计,同时抽取一部分样本做人工复核,检查标签质量。
  • 拥有少量高质量专家标注:可以用人工标注的小规模数据训练 PRM,或用它校准估计方法的结果。
  • 任务步骤之间依赖强、后续修正较少:估计方法的偏差相对可控。若任务中存在大量”错误步骤被后续修正”的情况,则需要更多校验。

选型建议

选型可以从三个条件出发:

  1. 标注预算。人工预算少时,ORM 或估计方法的可行性更高。
  2. 反馈需求。如果必须定位到具体步骤,PRM 是必要条件,ORM 无法替代。
  3. 标签质量要求。对标签准确性要求高时,应先用小规模人工标注来校准估计方法,或直接用于训练 PRM。

两类模型也可以组合使用。一种常见做法是先用 ORM 做粗筛,去掉明显错误的结果,再用 PRM 对剩余样本做细粒度评估。组合方式取决于数据规模、算力和业务需求,没有统一的最优答案。

迁移与使用注意事项

从 ORM 切换到 PRM,或引入新的标注方式时,需要关注以下方面:

  • 数据:步骤切分规则必须统一。同一解答若在不同批次中切分粒度不同,模型学到的步骤边界就会不一致。
  • 接口:奖励模型的输出从单一标量变为步骤序列,下游的排序逻辑、强化学习的调用方式都需要相应调整。
  • 权限与合规:标注数据可能包含题目来源或用户解答等信息,应按照数据使用协议控制访问权限。
  • 稳定性:步骤级打分的波动可能更大,训练和上线后需要持续监控分数分布的变化。
  • 运维成本:PRM 的推理开销与步骤数相关,容量规划应按步骤数而非请求数估算。
  • 回滚方案:迁移期间保留原有 ORM 作为对照基线,便于比较效果,出现问题时可以快速回退。

总结

结果奖励模型成本低、流程简单,但无法定位错误。过程奖励模型反馈细致,但标注或估计的成本更高。蒙特卡洛估计能减少人工投入,却可能把侥幸正确的步骤误标为正确。选型时主要看三件事:标注预算、是否需要定位错误,以及对标签质量的要求。两类模型并不互斥,可以按训练阶段组合使用,在成本与反馈质量之间取得平衡。

发表评论

活动