大模型强化学习后训练:定义、原理与实践要点
作者:4042026.11.18 11:46浏览量:1简介:本文系统解释大模型强化学习后训练是什么:从标准强化学习的状态、动作、奖励与折扣回报出发,说明语言模型场景下目标函数的改写方式、序列级奖励与信用分配难题,梳理策略梯度基础方法到近端策略优化的原理,以及面向推理能力的新一代算法变体的演进逻辑,并给出核心组成、典型场景、与监督微调等概念的差异和落地注意事项。
一、概念定义:什么是大模型强化学习后训练
大模型强化学习后训练,指在基座语言模型完成预训练之后,使用强化学习方法继续优化模型参数,使其输出更符合人类偏好、任务要求或可验证正确性的一类训练范式。它的优化对象不是”下一个词更可能是什么”,而是”什么样的完整回复能带来更高的期望回报”。
可以从三个视角理解它:
- 技术视角:它把文本生成过程形式化为一个序贯决策问题,以采样得到的回复及其标量奖励为监督信号,用策略梯度类方法直接最大化期望回报,而不是最大化某个标注答案的似然。
- 业务视角:它是把”能续写文本的模型”变成”能按要求完成任务的助手”的关键环节。当正确行为的判定标准难以写成标注标签、却可以写成评分规则或人类比较时,强化学习后训练几乎是唯一可行的优化路径。
- 使用视角:它在监督微调之后进行,输入是一批提示词集合加一套奖励来源,输出是偏好对齐或能力提升后的新版本模型;训练过程需要同时维护采样、训练与评估三条链路。
二、背景与价值:为什么后训练阶段离不开它
监督微调解决的是”模仿”问题:给模型看大量”好答案”,让它把这些答案的概率推高。这套做法有三个天然边界。
第一,只有正例没有负例。监督微调告诉模型”应该怎么答”,却没有明确告诉它”这样答很糟”。而很多对齐问题的核心恰恰是抑制不良行为,例如谄媚、越界、答非所问。
第二,优化目标与真实目标错位。监督微调优化的是逐 token 的条件似然,而我们真正关心的是回复整体的质量、正确性或有用性。后者往往不可微、甚至只能由规则或人来判定,无法写成一个可以直接反向传播的损失。
第三,上限受限于标注数据。模型只能逼近示范数据的水平,很难通过示范数据本身超过示范者。
强化学习后训练正好补上这三块:它以标量奖励为目标函数,可以惩罚也可以奖励;它直接优化期望回报,与最终评价指标天然对齐;它在探索中采样新回复,理论上可以产出比示范数据更好的行为。这也是它成为”基座模型到指令对齐模型”转变中关键一环、并成为当前推理能力提升浪潮核心手段的根本原因。
三、形式化基础:从标准设定到语言模型设定
1. 标准强化学习设定
标准设定是一个马尔可夫决策过程。智能体在时刻 t 观察状态 s_t,依据策略 π(a_t | s_t) 选择动作 a_t,环境按动态 p(s_{t+1} | s_t, a_t) 转移到新状态并给出奖励 r_t。整个过程持续 T 步,优化目标是最大化期望折扣回报:
J(π) = E[ Σ_{t=0..T-1} γ^t · r_t ] # γ ∈ [0,1) 为折扣因子
一个直观例子是室内移动机器人:状态是自身位姿与传感器读数,动作是移动指令,状态转移由物理规律决定(例如轮子打滑导致的轨迹偏差),奖励反映其朝目标推进的程度,折扣因子 γ 控制”当下奖励”相对”未来奖励”的权重。
在此基础上定义两个关键量:
- 价值函数 V^π(s):在策略 π 下从状态 s 出发的期望回报,衡量”处境好坏”。
- 优势函数 A^π(s, a) = Q^π(s, a) − V^π(s):某个具体动作相对平均水平”更好还是更差”。优势是策略梯度方法降低方差的核心工具。
2. 语言模型下的简化
对于语言模型,设定可以被大幅简化。有一个参数化模型 π_θ,从提示词集合中采样提示 x,模型自回归采样回复 y,再由奖励来源给出标量 r(x, y)。目标写作:
max_θ E_{x~D, y~π_θ(·|x)} [ r(x, y) ]
严格来说,这里仍然可以建立一个 token 级的环境模型:状态是”提示词 + 已生成 token”,动作是下一个 token,转移是确定性的拼接。但实践中,奖励通常只对完整回复给出——正确性、有用性、格式合规性都是整体属性,无法有意义地分摊到单个 token 上。若强行按”仅最后一个 token 有非零奖励”来建模,唯一效果是让信用分配变得异常稀疏,问题设定复杂化而收益为零。因此业界普遍采用序列级奖励 + 单步 bandit 近似:把整个回复视为一次采样动作,用轨迹内统一的信号去指导所有 token 的更新。
四、核心组成:一套后训练流水线包含什么
- 策略模型:被优化的模型,通常在监督微调后的版本上初始化。
- 参考模型:策略模型的初始副本,参数冻结,用于计算 KL 约束,防止策略为骗取奖励而偏离过远、退化语言能力。
- 奖励来源:可以是人工或模型标注的偏好训练出的奖励模型,可以是基于规则的确定性校验器(答案匹配、单元测试、格式检查、数学结果验证),也可以是两者加权组合。
- 价值模型或基线机制:用于估计期望回报以构造优势。经典做法训练一个与策略同规模的价值网络;新一代方法则倾向去掉它,改用组内相对基线等替代方案。
- 采样(rollout)链路:由推理引擎批量生成回复,通常是整条流水线的主要时间开销所在。
- 提示集与难度分布:训练数据的构成直接决定能力上限,需要覆盖目标能力并保持难度梯度。
- 评估与回归:独立于奖励信号的评测集,用于监控能力是否真实提升、有无回退。
五、工作原理:从策略梯度到裁剪目标
1. 策略梯度的起点
最基础的策略梯度方法(REINFORCE)目标就是上文的最大期望回报。其梯度具有非常简洁的形式:
∇_θ J(θ) = E_{x~D, y~π_θ(·|x)} [ r(x, y) · ∇_θ log π_θ(y|x) ]
直观解释:奖励高时提高该回复的概率,奖励低时降低其概率,调整幅度与奖励大小成比例。
与监督微调对比更能看清本质差异:
SFT : -∇_θ L = E_{(x, y*)~D} [ ∇_θ log π_θ(y* | x) ] # 只推高示范答案RL : ∇_θ J = E_{x, y~π_θ} [ r(x, y) · ∇_θ log π_θ(y|x) ] # 对自己采样的结果加权
两点区别值得注意:一是数据来源不同,监督微调学习的是外部示范,强化学习学习的是自己产出的样本,因此具备超越示范数据的可能性;二是权重不同,监督微调隐含所有权重为 1,强化学习的权重是奖励本身,可正可负。
2. 三个必须解决的问题
方差过大。 直接用原始奖励加权,梯度估计的方差极高,训练不稳定。标准解法是减去一个只依赖状态的基线(即价值函数),得到优势估计,在不引入偏差的前提下显著降低方差。
稀疏奖励下的信用分配。 只有回复结束时才有信号,需要把回报沿轨迹回传。实践中的做法包括:使用带衰减的时序差分残差做优势估计以平衡偏差与方差;或引入过程级奖励,对中间步骤给出局部反馈。
步长失控。 策略梯度是”on-policy“方法,只能用当前策略采样的数据更新。一旦单次更新幅度过大,策略会跳到无法恢复的区域。第一代主流算法(近端策略优化,PPO)给出的解法是重要性采样比加裁剪:
ρ_t = π_θ(a_t | s_t) / π_old(a_t | s_t)L_clip = E[ min( ρ_t · A_t , clip(ρ_t, 1-ε, 1+ε) · A_t ) ]
同时在奖励中加入 KL 惩罚项,把策略约束在参考模型附近:r_effective = r_task − β · KL(π_θ ‖ π_ref)。示意流程如下:
for 迭代 in range(N):batch = []for x in 采样提示(x 数 = B):for k in range(K): # 每个提示采样多条回复y = π_θ.sample(x)r = 奖励来源.score(x, y) - β * KL(π_θ, π_ref | x, y)batch.append((x, y, r))A = 估计优势(batch) # 用价值网络或组内相对基线for _ in range(更新轮数):loss = -裁剪目标(π_θ, π_old, A, ε)π_θ = optimizer.step(loss)π_old = π_θ.copy()
3. 第二代方法的演进方向
在”提升推理能力”这一目标驱动下,第二代方法在短时间内涌现出大量变体,多数与上一代只有细微差别,但这些差别产生了深远影响。主要方向可以归纳为四条:
- 去掉价值网络:不再训练独立的 critic,而是对同一提示采样一组回复,用组内奖励的均值(或均值加标准差)作为基线来构造相对优势。这省下了相当于策略规模一半的参数与显存,也消除了价值函数拟合不准带来的偏差,代价是需要每个提示采样多条回复。
- 单阶段偏好优化:直接把偏好对代入一个类似分类的目标,跳过”显式奖励建模 + 在线采样”两个阶段。优点是流水线短、稳定、便宜;局限是缺少在线探索,本质仍是离线模仿,难以突破离线数据覆盖的行为空间。
- 可验证奖励为主:在代码、数学、逻辑推理等答案可自动校验的领域,用规则校验器替代学习型奖励模型,大幅降低奖励被”钻空子”的空间。
- 探索与熵的精细控制:通过温度、组大小、熵正则、难度筛选与课程采样等手段,维持足够的探索强度,避免策略过早收敛到单一解法。
六、典型应用场景
- 偏好对齐:让输出的语气、结构、拒答边界、安全性符合产品规范。
- 推理能力提升:数学、代码、逻辑等可用规则验证的任务,通过长链采样与可验证奖励提升多步正确率。
- 工具与流程使用:优化函数调用、结构化输出(如严格 JSON)、多轮任务中的动作选择。
- 风格与格式约束:字数、章节、语气、模板填充等硬约束的遵循率优化。
- 模型效率与压缩配合:在剪枝、量化、蒸馏之后,用少量后训练恢复受损能力。
七、与相关概念的区别
| 概念 | 优化信号 | 数据来源 | 是否探索 |
|---|---|---|---|
| 监督微调 | 示范答案的似然 | 人工/模型标注的目标输出 | 否 |
| 拒绝采样微调 | 自采样结果按奖励筛选后的似然 | 自身采样 + 筛选器 | 部分 |
| 强化学习后训练 | 标量奖励驱动的期望回报 | 提示集 + 奖励来源 | 是 |
| 蒸馏 | 教师模型的分布 | 教师输出 | 否 |
需要特别澄清:拒绝采样微调常被视为”便宜的强化学习替代品”,但它只在已有分布内做重加权,梯度上没有”压低差样本概率”的机制;强化学习后训练既能推高好行为,也能主动降低坏行为概率,这是本质差别。此外,偏好优化类方法虽然形式上是监督式的,但只要训练数据来自被优化策略自身的在线采样,其效果就更接近强化学习而非监督微调。
八、落地注意事项
- 奖励设计优先于算法选择。奖励函数中的任何缝隙都会被策略迅速放大利用,形成”奖励上升但真实质量下降”的现象。上线前应用独立评测集校验奖励与真实目标的相关性。
- KL 与熵是两个关键旋钮。KL 系数过小会损伤语言能力、放大奖励攻击;过大则策略几乎不动。熵持续塌陷通常意味着探索枯竭。
- 算力成本主要落在采样侧。长链推理场景下,rollout 常占端到端时间的大头。合理设计提示集规模、每提示采样数、批内并行与推理资源配比,比调超参更能影响总成本。
- 可复现性。采样温度、随机种子、奖励模型版本、数据混比都需固定记录,否则实验结论无法归因。训练过程指标(奖励、KL、熵、回复长度、格式合规率)应接入监控告警与日志服务,做异常自动发现。
- 数据合规与安全。提示集与偏好数据可能含敏感信息,需在使用前完成脱敏与授权确认,并按最小权限原则做身份认证与访问控制。
- 工程实现。采样集群与训练集群的解耦、检查点管理、断点续训、混合精度与显存优化都属于通用工程范畴,主流云服务商(如百度智能云)提供的弹性容器平台、对象存储、消息队列、监控告警等通用能力通常可直接承载这类流水线,具体规格以官方文档为准。
九、总结
大模型强化学习后训练的定义可以浓缩为一句话:以标量奖励为目标信号、用策略梯度类方法直接优化模型期望回报的后训练阶段。它的形式化内核继承自标准强化学习的决策过程、价值与优势概念,但在语言模型场景下被合理简化为序列级奖励的单步优化,以规避无法分配的 token 级信用问题。
从早期的近端策略优化加奖励模型的主流组合,到今天以去价值网络、组内相对基线、可验证奖励、精细探索控制为特征的新一代变体,算法在变,但三个约束没有变:奖励必须忠实反映真实目标,更新必须被约束在可信区域内,探索必须被主动维持。理解这三点,就抓住了这条技术路线的适用边界与工程重点。

登录后可评论,请前往 登录 或 注册