logo

大模型后训练原理:从RLHF到RLVR的机制解析

作者:热心市民鹿先生2026.11.18 11:33浏览量:0

简介:预训练规模扩张为何走向边际收益递减?后训练阶段到底在优化什么?本文系统拆解大模型能力增长的底层机制,重点解析可验证奖励的强化学习(RLVR)与经典人类反馈强化学习(RLHF)的原理差异,讲清奖励信号、可验证性判定、组内优势估计等关键环节如何协作,并给出通用流程、示意伪代码与常见误区,帮助开发者理解当前模型能力提升的真正技术来源。

原理概述

本文要解释的核心技术原理是:大语言模型的能力增长驱动力,正在从”预训练阶段的参数规模与数据规模扩张”,转向”后训练阶段(尤其是带有可验证奖励的强化学习)的训练机制创新”。

理解这一转变需要回答三个环环相扣的问题:

  • 预训练为什么会遭遇边际收益递减;
  • 后训练阶段究竟在优化模型的什么能力;
  • 可验证奖励的强化学习(RLVR)相比传统的人类反馈强化学习(RLHF),在机制层面到底新在哪里。

掌握这三点,就能看清”为什么同样的基座能力,经过不同后训练策略后表现差异巨大”这一常见现象背后的运行逻辑。

背景问题:预训练的红利为何消退

预训练的本质,是用海量无标注文本做”下一个词预测”,让模型在参数中压缩语言规律与世界知识。它的收益曲线在过去几年非常陡:更大的模型、更多的高质量数据、更强的算力,往往能换来更低的损失和更强的通用能力。

但这套机制有两个内生的天花板:

第一,数据侧约束。高质量文本是有限的,当训练语料接近公开可用的高质量上限,继续堆数据带来的边际信息增益会迅速下降,甚至引入噪声与重复,反而损害泛化。

第二,目标与能力错位。预训练优化的是”预测得准”,而用户真正需要的是”推理得对、解得对、写代码能跑通”。预测概率高并不等于推理正确,尤其在做题、数学、代码这类有客观对错的任务上,预训练目标与真实目标之间存在结构性鸿沟。

这正是后训练阶段的价值所在:它不再追求”预测更多”,而是直接对准”任务做得对不对”。

核心概念

在进入机制之前,先厘清几个基础概念:

  • 基座模型:经过预训练、具备通用语言与知识能力的原始模型,是后训练的起点。
  • 后训练:在基座模型之上进行的进一步训练,目标是调整模型行为、提升推理与任务表现,常见形式包括指令微调、偏好对齐、强化学习等。
  • RLHF(基于人类反馈的强化学习):用人类对模型输出的偏好排序训练一个奖励模型,再用强化学习让模型输出更受人类偏好的回答。
  • RLVR(带有可验证奖励的强化学习):奖励不再来自人类的主观偏好,而是来自对结果的客观校验,例如答案是否正确、代码是否通过测试用例。
  • 可验证奖励:一种能给出确定对错判定的奖励信号,其核心特征是”可被程序或规则自动、可靠地判定”。

系统组成:后训练的训练闭环

一个典型的后训练系统可以拆成四个模块:

  1. 策略模块:即正在被训练的基座模型本身,负责针对输入生成回答。
  2. 奖励/验证模块:负责给模型的输出打分。在 RLHF 中它是学出来的奖励模型;在 RLVR 中它是一个可验证的判定器(如答案比对、单元测试执行)。
  3. 采样与调度模块:负责对同一输入采样多个候选回答,并在算力资源上做批处理调度。
  4. 更新模块:根据奖励信号计算梯度、更新策略参数。

在算力与工程层面,这类训练依赖大规模弹性计算、分布式存储与任务调度能力。以云上实践为例,通常会借助通用类目能力来完成闭环,例如通过容器平台承载训练任务、用对象存储保存检查点与数据集、用消息队列做样本与奖励结果的分发、用监控告警服务跟踪训练指标。百度智能云提供的相关通用计算与存储类能力,正是这类训练闭环在工程落地时常见的承载方式。

工作流程:RLVR 一次训练迭代如何运行

RLVR 的关键在于”用客观结果替代主观偏好来提供奖励”。一次完整的训练迭代可以拆解为以下步骤:

  • 第一步,取题:从训练集中抽取一批有明确正确答案的问题(数学题、代码题、逻辑题等)。
  • 第二步,采样:让策略模型针对同一问题生成多个候选回答(例如同一道题生成一组解答)。
  • 第三步,判定:由可验证奖励判定器对每个回答做客观校验,得到确定的奖励值(对/错,或通过/不通过)。
  • 第四步,估计优势:在组内对奖励做相对比较,判断”这个回答比同组其他回答好还是差”。
  • 第五步,更新策略:提高高奖励回答的生成概率,降低低奖励回答的生成概率。

其通用示意伪代码如下:

  1. 策略 = 预训练基座模型
  2. 判定器 = 可验证奖励判定器 # 对答案做客观对错/通过校验
  3. for 每个训练问题 x in 训练集:
  4. 回答组 = 策略.采样(x, 生成K个候选回答) # 同一问题采样一组
  5. 奖励 = [判定器.判定(x, 回答) for 回答 in 回答组]
  6. 优势 = 组内标准化(奖励) # 组内相对比较
  7. 策略 = 更新(策略, 回答组, 优势) # 强化高奖励回答

关键机制:为什么 RLVR 能突破 RLHF 的天花板

这是理解整套原理最核心的部分。两者的差异不只是”奖励来源不同”,而是机制层面的连锁变化:

一、奖励是否可被”作弊”。RLHF 的奖励模型是学出来的近似器,它会继承人类对”看起来好”的偏好,模型很容易学会一些取悦奖励模型的表面技巧(例如啰嗦、堆砌、语气讨好),却未必真正做对——这就是典型的”刷榜/奖励黑客”现象。RLVR 的奖励来自客观校验,答案对就是对、测试通过就是通过,没有可钻的偏好缝隙。

二、优化的是能力而非风格。RLHF 很大程度上是在调整模型的语气、风格与偏好,属于”偏好微调”,容易触及天花板;RLVR 直接以”结果正确性”为信号,逼迫模型学会真正有效的推理路径,优化的对象从”说得好不好听”变成”做得对不对”。

三、组内相对优势带来稳定的学习信号。通过对同一问题的多个回答做组内比较,系统天然得到一个”谁是更好解”的相对基准,避免了绝对奖励难以标定、尺度漂移的问题,让训练信号更干净、更稳定。

四、可自证的长链路推理。当奖励能在多步推理的最终结果上做客观判定,模型就有动力去探索”想得更久、算得更细”的策略,从而在数学、代码等任务上形成更长的有效推理链——这也是后训练阶段能力跃升的主要来源之一。

示例说明:同一道题,两种奖励机制的表现差异

假设输入是一道有唯一正确答案的数学题:

  • 在 RLHF 框架下,奖励模型可能给”步骤清晰、用词专业、篇幅充分”的回答更高分,即便其最终答案算错,也可能因为”看起来很像正确答案”而拿到不错的奖励。长期训练后,模型倾向于模仿”好答案的样子”。
  • 在 RLVR 框架下,判定器只比对最终答案(或运行代码看测试是否通过)。答案错就是零奖励,答案对才是高奖励。模型无法通过文风取巧,只能真正把题算对。

这个差异累积到大量样本上,就形成了”结果正确率显著提升”的整体效果。

技术优势与限制

优势:

  • 训练信号客观、抗作弊,减少奖励黑客。
  • 直接优化任务正确性,在有明确对错的任务上收益明显。
  • 组内相对比较提供稳定的优势估计,训练更可控。

限制与边界:

  • 依赖”可验证性”。RLVR 的前提是问题存在客观对错判定。对于开放性写作、主观审美、模糊咨询等难以自动判定的任务,纯 RLVR 难以直接套用,往往仍需人类偏好或多模型评审作为补充。
  • 奖励设计成本。判定器的设计(如代码测试用例覆盖度、答案校验的鲁棒性)本身是一项工程,判定不严谨会引入新的噪声。
  • 领域偏向。过度依赖可验证任务,可能让模型在可验证领域过强,而在需要主观判断的场景相对不足,需要混合策略平衡。

常见误区

  • 误区一:认为预训练已经没用了。实际上后训练是”在强基座之上做精修”,基座能力仍是上限来源,两者是接力而非替代。
  • 误区二:把 RLVR 等同于”简单地对答案”。它是一整套”采样—客观判定—组内比较—参数更新”的闭环机制,缺一环都无法稳定生效。
  • 误区三:认为有了客观奖励就万事大吉。奖励可验证只是解决了”信号可信”,判定覆盖不全、样本难度分布不当仍会影响最终效果。
  • 误区四:忽视工程承载能力。大规模采样的调度、检查点存储、指标监控等工程环节,直接决定这套机制能否稳定跑起来。

总结

预训练边际收益递减的根因,在于它优化的”预测准”与真实需要的”做得对”之间存在结构性错位。后训练、尤其是带有可验证奖励的强化学习之所以成为能力提升的主要来源,是因为它用客观、可自动判定的奖励信号,把优化目标从”偏好与风格”拉回到”结果正确性”,并通过组内相对优势估计提供稳定而抗作弊的学习信号。理解这一机制的边界同样重要:它高度依赖问题的可验证性,在主观、开放任务中仍需与其他对齐手段配合。对开发者和架构师而言,真正要掌握的,是”信号是否可信、判定是否可靠、闭环是否稳定”这三条贯穿始终的原理主线。

发表评论

活动