结果监督与过程监督:奖励模型怎么选
作者:暴富20212026.11.18 11:51浏览量:0简介:本文对比结果奖励模型与过程奖励模型的判断方式,梳理人工标注与蒙特卡洛估计两种步骤标签的成本与偏差,并给出按标注预算、反馈需求和标签质量选型的思路。读完可以判断自己的训练场景适合哪条路线,以及如何组合两者降低成本。
对比背景
训练一个能逐步批改解题过程的模型,关键在于获得可靠的奖励信号。奖励模型是给模型输出打分的工具,它决定强化学习或数据筛选时模型朝哪个方向优化。奖励模型大致分为两类:只看最终结果的结果奖励模型(Outcome Reward Model,ORM),以及对每一步都给出评价的过程奖励模型(Process Reward Model,PRM)。两者的区别看似只是评分粒度不同,但在标注成本、信号质量和反馈价值上差异很大。选错路线,会直接影响训练效果和预算。
对象定义
结果奖励模型(ORM)
- 输入:完整的题目与解答。
- 输出:一个整体分数,表示最终答案正确的可能性。
- 训练标签:只需要最终答案的正误。很多数据集本身就带有这类标签,因此标注成本低。
- 局限:无法指出解答从哪一步开始出错。
过程奖励模型(PRM)
- 输入:题目与逐步推导的过程。
- 输出:每一步的评分,能够定位首次出错的位置。
- 训练标签:需要步骤级标注,可以由人工完成,也可以用估计方法生成。
- 优势:反馈具体,便于定位错误并指导修改。
相同点分析
两类模型在以下方面有共同之处:
- 目标一致:都为模型提供可用于优化或筛选的质量信号。
- 训练后都是打分函数,输入一段解答,输出一个评价。
- 都可以用于推理阶段的候选排序,例如从多个生成结果中挑出评分最高的一个(best-of-N)。
- 都受训练数据分布影响。遇到与训练数据差异较大的题目时,判断都可能不稳定。
- 评测思路相通:都可以通过与人工判断的一致率来衡量质量。
核心差异分析
输出形式与模型结构
ORM 输出单一标量,PRM 输出一组步骤分数。PRM 要求模型对中间状态做局部判断,因此训练数据的组织方式更复杂,推理时也需要对每一步分别计算。
步骤标签的两种来源
获得 PRM 训练标签主要有两条路径。
人工标注:由具备专业知识的标注者逐步阅读并判断对错。准确性最高,但每一步都需要人工参与,数据规模受限于专家的时间,难以批量扩展。
蒙特卡洛估计:从某一步开始,让模型多次续写直到得出结果,用续写结果的正确率估计该步的价值。这种方法省去了人工,但每个步骤都要采样几十到上百次,推理开销显著。
下面是一个通用示例,用于说明估计流程:
def estimate_step_value(prefix, n_samples, continue_fn, check_fn):"""从给定前缀多次续写,用正确率估计该步的价值。"""hits = 0for _ in range(n_samples):completion = continue_fn(prefix) # 从当前步骤继续生成完整解答if check_fn(completion): # 判断最终答案是否正确hits += 1return hits / n_samples # 正确率作为该步的软标签
信号质量与偏差
蒙特卡洛估计的核心问题在于,它把”能否从这一步走到正确答案”等同于”这一步本身是否正确”。假设某一步推导有误,但后续续写恰好修正了错误并得出正确答案,那么这一步会被误标为正确。在后续容易自我修正的任务中,这种偏差更突出,因为错误的步骤经常被后面的推导掩盖。
人工标注没有这种逻辑偏差,但标注者之间可能出现分歧,因此需要明确的标注准则,例如什么情况下判定一步为错误,步骤如何切分。
ORM 的偏差来自另一个方面:最终答案正确的解答可能包含过程错误,但仍会得到较高分数。模型因此可能学到”结果对就行”的判断标准。
反馈价值与可解释性
ORM 告诉使用者结果好坏,PRM 告诉使用者哪一步开始偏离。若任务需要定位错误、给出修改建议,PRM 的反馈更直接。若任务只需要筛选最终答案,ORM 通常已经足够。
一个值得关注的信号:整体判断中的过程线索
有研究观察到一个现象:当要求模型判断最终答案是否正确时,即使提示中没有要求检查中间步骤,模型也常会在推理过程中重新推演解题步骤,并指出其中的错误。这意味着可以利用模型已有的推理能力,在判断结论时获得过程层面的线索,作为一种低成本的中间路线。
但这种信号的稳定性取决于模型能力和提示方式。使用前需要通过抽样评估确认其与人工判断的一致程度,不能直接当作人工标注的替代品。
对比表格
| 维度 | 结果奖励模型(ORM) | 过程奖励模型(PRM) |
|---|---|---|
| 评分粒度 | 整体一个分数 | 每一步一个分数 |
| 标签来源 | 最终答案的正误 | 人工逐步标注或估计方法 |
| 标注成本 | 低 | 人工标注高;估计方法的推理成本高 |
| 错误定位 | 无法定位 | 可定位首次出错的步骤 |
| 主要偏差风险 | 结果正确但过程有误的解答得分偏高 | 估计方法可能把侥幸正确的步骤标为正确 |
| 训练与部署复杂度 | 较低 | 较高 |
| 典型用途 | 结果筛选、候选排序 | 过程纠错、细粒度训练信号 |
典型场景选择
- 只需判断最终答案是否可用,例如大批量数据筛选:优先考虑 ORM。标注成本低,流程简单,便于快速落地。
- 需要向使用者解释错误位置,例如作业批改辅助:更适合 PRM,因为反馈可以精确到步骤。
- 标注预算有限,但算力充足:可以考虑蒙特卡洛估计,同时抽取一部分样本做人工复核,检查标签质量。
- 拥有少量高质量专家标注:可以用人工标注的小规模数据训练 PRM,或用它校准估计方法的结果。
- 任务步骤之间依赖强、后续修正较少:估计方法的偏差相对可控。若任务中存在大量”错误步骤被后续修正”的情况,则需要更多校验。
选型建议
选型可以从三个条件出发:
- 标注预算。人工预算少时,ORM 或估计方法的可行性更高。
- 反馈需求。如果必须定位到具体步骤,PRM 是必要条件,ORM 无法替代。
- 标签质量要求。对标签准确性要求高时,应先用小规模人工标注来校准估计方法,或直接用于训练 PRM。
两类模型也可以组合使用。一种常见做法是先用 ORM 做粗筛,去掉明显错误的结果,再用 PRM 对剩余样本做细粒度评估。组合方式取决于数据规模、算力和业务需求,没有统一的最优答案。
迁移与使用注意事项
从 ORM 切换到 PRM,或引入新的标注方式时,需要关注以下方面:
- 数据:步骤切分规则必须统一。同一解答若在不同批次中切分粒度不同,模型学到的步骤边界就会不一致。
- 接口:奖励模型的输出从单一标量变为步骤序列,下游的排序逻辑、强化学习的调用方式都需要相应调整。
- 权限与合规:标注数据可能包含题目来源或用户解答等信息,应按照数据使用协议控制访问权限。
- 稳定性:步骤级打分的波动可能更大,训练和上线后需要持续监控分数分布的变化。
- 运维成本:PRM 的推理开销与步骤数相关,容量规划应按步骤数而非请求数估算。
- 回滚方案:迁移期间保留原有 ORM 作为对照基线,便于比较效果,出现问题时可以快速回退。
总结
结果奖励模型成本低、流程简单,但无法定位错误。过程奖励模型反馈细致,但标注或估计的成本更高。蒙特卡洛估计能减少人工投入,却可能把侥幸正确的步骤误标为正确。选型时主要看三件事:标注预算、是否需要定位错误,以及对标签质量的要求。两类模型并不互斥,可以按训练阶段组合使用,在成本与反馈质量之间取得平衡。

登录后可评论,请前往 登录 或 注册