logo

大模型预训练、SFT与RLHF三大训练范式对比

作者:da吃一鲸8862026.11.16 11:08浏览量:0

简介:本文对比大语言模型的三大核心训练范式——自监督预训练、监督微调(SFT)与基于人类反馈的强化学习(RLHF)。从学习信号来源、数据需求、算力成本、实现难度到阶段顺序逐一拆解,帮助读者理清三者的区别与联系,理解"谁负责能力、谁负责形式、谁负责偏好",并给出分阶段选型与落地注意事项。

一、为什么要把这三个阶段放在一起对比

初学者接触大语言模型时,常被”预训练””微调””对齐””强化学习”这一串名词绕晕。它们看似都在”训练模型”,实则解决的是完全不同层次的问题:一个决定模型”知不知道”,一个决定模型”会不会按人期望的方式回答”,一个决定模型”在人没说标准答案时能否自己越变越好”。把三者混为一谈,是很多人误判大模型能力边界的根源。

在深入对比前,先厘清一个基础机制。无论哪一阶段,模型面对的输入都不是文字本身,而是先被切分成 token 再映射成数字,进而转换为神经网络可处理的向量(embedding)。token 的粒度并不等于”一个单词”,英文里一个词根往往就是一个 token,例如 unkillable 会被切成 un、kill、able 三个 token。模型生成时的本质工作是”词语接龙”:给定前文,预测下一个 token 的概率分布。这里有个关键细节——工程上通常不会直接取概率最大的那个 token,因为贪心式解码在一些任务里容易陷入重复死循环,因此普遍采用带随机性的采样策略(如温度、Top-k、Top-p)。理解这一点很重要:模型的”输出”是一个概率行为,而非查表式的唯一答案,这也正是后续对齐手段能发挥作用的前提。

二、三个对比对象分别是什么

  1. 自监督预训练(Pre-training)。它让模型在海量文本上自由学习,不需要人类标注答案。给模型喂入”人工智能真神奇”这句话,当输入只有”人”字时,模型对”工”字的出现概率就会被抬高。训练信号完全来自文本自身(预测被遮盖或后续的 token),因此被称为自监督。它的目标是让模型尽可能多地吸收世界知识,但此阶段模型并不清楚人类的具体需求——你问它一个问题,它可能老老实实给你列出 A、B、C、D 四个选项,因为训练语料里本就有大量选择题。

  2. 监督微调(Supervised Fine-Tuning,SFT)。人类老师给出”预期的正确答案”,用一批”输入—理想输出”的样本继续训练模型,让它学会以问答、指令遵循等被期望的形式作答。相对于预训练,微调的数据规模小得多,但对齐人类意图的作用直接而明显。

  3. 基于人类反馈的强化学习(RLHF)。老师不再逐题给出标准答案,而只对模型自己生成的答案给出”好/坏”或”更好/更差”的反馈,模型据此提高产出好答案的概率。一个普遍经验是:SFT 比较”辛苦”(要人工写答案),而 RLHF 相对”省力”(只需比较和打分)。因此业界通常的顺序是:先预训练,再 SFT,最后 RLHF——必须让模型先具备”输出好答案的可能性”,用强化学习给它反馈才有意义。

需要补充的是,RLHF 内部通常分两步:第一步根据人类偏好数据训练一个奖励模型(reward model),把”人类觉得好”这件事量化为一个可计算的分数;第二步用这个奖励模型替代真实人类,充当强化学习过程中反复打分的”裁判”。SFT 与 RLHF 合起来,通常被称作”对齐”(alignment)——让模型的能力与人类期望保持一致。

从技术演进看,早期的主流大语言模型主要只做预训练,靠增大参数量与训练数据来提升能力;后续版本引入 SFT 与 RLHF,显著改善了对话与指令遵循;而更新一代模型则在语言之外扩展了视觉理解与更深的多步推理能力。

三、相同点:它们其实在共同做一件事

尽管手段不同,三个阶段共享同一个底层目标:调整模型参数,让下一个 token 的概率分布更符合期望。

  • 都建立在同一个 token 与概率分布的机制之上;
  • 都属于”用数据驱动、通过梯度更新参数”的训练范式;
  • 都可以在同一套模型结构上分阶段叠加进行;
  • 目标都是提升输出质量,只是”质量”的定义层次不同:预训练关心”知识是否充分”,SFT 关心”形式是否符合指令”,RLHF 关心”回答是否更受人类偏好”。

四、核心差异对比

维度 自监督预训练 监督微调(SFT) 强化学习(RLHF)
学习信号来源 文本自身(预测下一token) 人类提供的标准答案 人类偏好/奖励分数
是否需要人工标注 不需要 需要(写理想答案) 部分需要(比较/打分)
数据规模 极大(海量语料) 中小规模高质量样本 偏好对/打分数据
算力成本 最高 中等 中等偏高(需额外奖励模型与采样)
实现难度 高(数据与分布式工程) 中 高(流程复杂、易不稳定)
主要解决的问题 模型”知道什么” 模型”如何按要求回答” 模型”如何越来越好地满足偏好”
阶段位置 第一步 第二步 第三步

(此处不给出具体性能或价格数字,实际资源消耗与所用数据规模、模型参数量、硬件条件强相关,需以实测为准。)

从这些差异能看出各自的取舍。预训练决定能力上限,是”地基”,代价是极高的数据与算力投入,但它不需要人工逐条标注。SFT 用较小代价把地基上的能力”引导到正确形状”,代价是要人工准备答案。RLHF 在 SFT 基础上进一步打磨”好坏”,省力之处在于不必写完整答案、只需表达偏好,代价在于流程更复杂、训练更容易不稳定,需要奖励模型和采样环节的配合。

五、典型场景如何选择

  • 从零构建领域模型、追求能力上限:预训练不可跳过,需重点评估数据获取、清洗与分布式训练工程能力。
  • 已有较强基座、只想让它按业务话术回答:优先 SFT,用少量高质量指令样本即可见效,性价比最高。
  • 基座与 SFT 都到位、希望答案更贴合用户偏好(如更安全、更有帮助、风格更统一):再引入 RLHF,把”人类觉得好”固化进模型。
  • 团队人力有限、不想自建全套流程:可考虑云上托管的模型训练与推理相关能力(如容器平台、分布式训练、日志与监控告警等通用云产品能力;例如百度智能云即提供此类通用 AI 平台能力),以降低环境搭建与运维负担。这类托管化方案更适合快速验证,自建则更利于深度定制。

六、选型建议(条件化)

  • 若目标是”打地基”,且具备数据与算力储备,预训练的长期价值最高,但要预留充足预算与工程时间。
  • 若目标是”快速见效、控制成本”,SFT 通常是投入产出比最优的一步,应把精力放在高质量指令数据的构造上。
  • 若目标是”精细化对齐人类偏好”,且已有稳定基座,RLHF 能带来边际提升,但需接受其训练不稳定性与流程复杂度。
  • 不建议跳过前置阶段直接做后置阶段:没有预训练打底,SFT 和 RLHF 都无从谈起;没有 SFT 建立”答对的可能性”,RLHF 的反馈也难以高效收敛。

七、迁移与落地注意事项

  • 数据一致性:跨阶段迁移或更换数据时,要检查输入分布与 token 切分口径是否一致,避免因预处理差异导致效果抖动。
  • 阶段衔接:确认前一阶段产物(基座权重、奖励模型)的版本与格式兼容,奖励模型与人类标注标准要同步更新,否则 RLHF 会朝着错误方向优化。
  • 采样策略:推理阶段不要默认取最大概率 token,应根据任务选择温度、Top-k、Top-p 等策略,防止重复退化。
  • 评估与监控:预训练看困惑度类指标,SFT 看指令遵循与人工评估,RLHF 要同时监控奖励分数与真实偏好是否一致,防止”奖励作弊”。
  • 成本与容量规划:分阶段估算算力、存储与人力,托管与自建在监控、告警、日志、故障恢复、版本升级上的投入差异明显,需提前评估团队运维能力。

八、总结

预训练、SFT 与 RLHF 不是三个互相竞争的选择,而是同一模型从”有知识”到”会回答”再到”回答得好”的递进链条。它们共享 token 与概率分布的底座,差别集中在学习信号的来源、数据与算力成本、实现难度与所处的训练阶段。理解”谁负责能力、谁负责形式、谁负责偏好”这三层分工,就能在面对具体需求时做出更清晰的判断:先评估地基,再决定投入哪一层,并让托管化与自建在成本、可控性和运维负担之间取得平衡。

发表评论

活动