大模型训练过程全解析:从预训练到偏好对齐
作者:很酷cat2026.11.18 12:10浏览量:0简介:大模型并非凭空产生,而是经过预训练、有监督微调、偏好对齐等多个前后衔接的阶段逐步打磨而成。本文系统讲解大模型训练的完整流程,涵盖自注意力架构基础、掩码机制、位置编码与归一化策略,以及奖励模型和强化学习对齐的核心原理,帮助读者理解"大模型究竟是如何被训练出来的",并掌握各阶段的关键作用与工程选型要点。
大模型训练过程,是指从一个包含海量参数的自回归语言模型出发(或从已有基座模型出发),让它逐步学会语言的通用规律、遵循人类指令,并最终使输出更贴合人类偏好的系统性工程。它不是一次性的单步操作,而是由若干前后衔接的阶段共同组成的一条”流水线”:先在超大规模、无需人工标注的语料上完成预训练,让模型建立对语言的基础理解;再通过有监督微调,让模型从”只会续写文本”转变为”能够对话、能够遵循指令”;最后借助奖励模型与强化学习,让模型的回答在有用性、准确性、无害性等方面与人类偏好对齐。理解这条链路,是理解大模型能力边界、训练成本构成以及应用效果的前提。
下面从”是什么、为什么重要、由哪些部分组成、如何运转、用在哪里、与相邻概念有何区别、使用时要注意什么”几个层面展开说明。
一、为什么训练过程如此关键
大模型的强大能力并非某个单一技术的功劳,而是”规模化数据 + 规模化参数 + 分阶段的训练策略”三者协同的结果。训练过程之所以关键,原因在于:
- 能力来源不同:预训练赋予模型通用的语言与知识基础,微调赋予它”听话”和”会聊天”的能力,对齐则决定它的输出是否安全、是否有用、是否符合人的期望。缺了任何一环,模型要么”知道很多但答非所问”,要么”能对话但胡说”。
- 成本与周期集中于此:大模型训练的绝大部分算力、时间与数据成本都花在训练阶段,因此各阶段的设计直接决定了可行性与投入产出比。
- 决定了应用上限:同一个基座,经过不同的微调和对齐策略,最终在实际业务中的表现可能差异巨大。
二、整体框架:三个核心阶段
现代大模型的训练通常可以抽象为三个主要阶段:
- 预训练(Pre-training):在无标注的大规模文本上,让模型学习”给定上文预测下一个词”,从而获得通用语言能力与基础知识。此阶段的产物称为”基座模型”。
- 有监督微调(Supervised Fine-Tuning,简称 SFT):使用人工整理的”指令-回答”或”问答(QA)”语料,教会基座模型理解指令、按人类期望的形式作答。
- 偏好对齐(Alignment,常见做法是奖励模型 + 强化学习):通过人类对多个候选回答的偏好排序,训练一个”奖励模型”来学习人类偏好,再用强化学习优化主模型,使它的输出更符合人的偏好。
这三阶段是层层递进、目标各异的关系,下面先讲清楚承载它们的模型架构基础,再逐一展开。
三、架构基础:模型内部是如何运转的
绝大多数主流生成式大模型都建立在”以自注意力机制(Self-Attention)为核心的深度神经网络架构”之上,业界通称这类结构为 Transformer 架构。生成式大模型通常采用”仅含解码器(Decoder-only)”的结构:相比传统的”编码器-解码器”结构,它去掉了用于跨序列对齐的交叉注意力部分,只保留带掩码的自注意力层。几个关键组件如下:
- 自注意力与多头注意力(Multi-head Attention):自注意力让序列中每个词都能”关注”序列里的其他词,从而捕捉长距离依赖;多头注意力则从多个不同的表示子空间并行捕捉不同类型的语义关系,提升表达能力。
- 掩码机制(Mask):这是自回归生成式模型的核心特征。在计算某个位置的预测概率时,通过掩码屏蔽掉该位置右侧(未来)的词汇信息,只允许模型看到当前位置左侧的上下文。这带来一个重要影响:模型在预测每个词时只能依据它左侧已出现的内容,是一种”单向”建模方式。与那些需要同时看到左右上下文的双向编码模型相比,掩码让模型看不到”未来信息”,从而避免了训练时的信息泄露,也让生成式任务的建模更自然,泛化能力更强。
- 归一化策略:现代大模型更多采用”前置归一化(Pre-Norm)”,即在进入子层之前先做归一化。相比把归一化放在输出之后的做法,前置归一化让深层网络的梯度传播更稳定,整体上更不容易出现梯度消失,训练过程更平滑、更易收敛。
- 位置编码:由于注意力机制本身对词的先后顺序不敏感,需要额外注入位置信息。旋转位置编码(RoPE)是一类常用的位置编码方案,它通过旋转变换把相对位置关系融入注意力计算。相比一些依赖绝对位置的做法,RoPE 的外推性更好——所谓”外推性”,指的是模型在训练时使用的输入长度与预测/推理时使用的输入长度不一致时,模型能否依然保持良好表现的能力。外推性好的位置编码,能让模型在更长或更短的序列上不至于性能骤降。
四、阶段一:预训练——学习语言的通用规律
预训练的目标函数通常极其简洁:给定上文,预测下一个 token。模型在数以万亿计的无标注语料上不断做这件事,逐渐学会语法、常识、事实性知识乃至一定的推理能力。这一阶段产物的典型能力就是”续写”——给它一段文字开头,它能顺着合理的方向往下写。很多资料把预训练视作模型能力”从无到有”的关键一步,它决定了基座模型的知识广度与上限。
五、阶段二:有监督微调(SFT)——从”会续写”到”会对话”
有了基座模型之后,它虽然”知道很多”,却往往只会续写,不擅长按人的意图直接给出干净利落的回答。有监督微调就是解决这个问题的:使用人工整理的”指令-回答”或”问答(QA)”成对数据,对基座模型进行有监督训练,让它在面对问题时输出符合期望形式的答案。
可以把这一能力理解为模型两种”使用方式”的转变:
- 基座模型(generate 模式):展现的是续写能力,输入提示后接着往下写;
- 微调后模型(chat 模式):展现的是对话与指令遵循能力,能够针对问题直接给出结构化的、面向人的回答。
需要澄清的是:预训练与 SFT 在本质上是一体两面,共同构成了”让模型先学会语言、再学会听话”的过程;把两者拆开描述,只是为了说明它们的目标与数据形态不同——预训练用无标注语料,SFT 用人工整理的高质量问答对。
六、阶段三:奖励模型与偏好对齐——让输出更贴合人类偏好
经过 SFT,模型已经能对话,但”能回答”不等于”回答得好”。对于同一个问题,模型可能给出多个质量参差不齐的答案,而”哪个更好”往往难以用绝对分数衡量——直接让人给绝对打分,标准很难统一;相反,人们更容易判断”两个答案里哪个更好”。因此,实践中普遍采用”相对偏好排序替代绝对打分”的思路。
这一阶段通常包含两步:
第一步:训练奖励模型(Reward Model)。
先让模型对同一个问题生成多个候选回答,再由人工标注员对这些回答做优先级排序(例如 A2 > A1 > A3,表示 A2 最好、A3 最差)。奖励模型的底座往往直接复用第一阶段微调好的模型,只是把最后一层替换为一个神经元,输出一个标量分数,从而把模型变成一个”回归/打分模型”,专门用来给回答打分。
奖励模型的核心在于其损失函数。设 c(chosen)代表被标注为更优的回答,r(rejected)代表较差的回答,模型对二者的打分为 score(c) 与 score(r),其损失可近似表示为如下成对比较形式:
# 成对偏好排序损失(示意)loss = -mean( log( sigmoid( score(chosen) - score(rejected) ) ) )
该损失的优化目标是:让 score(chosen) 尽可能大于 score(rejected)。通过反向传播,模型不断被训练成”给优质回答打更高分、给劣质回答打更低分”。
第二步:用奖励模型驱动强化学习对齐。
训练好的奖励模型就像一个”自动化的偏好裁判”,能够对主模型生成的每个回答打分。随后,通常结合强化学习(如策略梯度类优化算法)来更新主模型的参数,使主模型倾向于生成能够获得更高奖励的回答,从而让最终输出在有用性、准确性等方面更贴合人类偏好。
举一个直观例子。问题 Q 为”苹果是什么?”,模型给出三个回答:
- A1:苹果是一种水果,可以润肺、解暑、开胃。(简洁但信息较少)
- A2:苹果品种繁多,可按颜色、大小、口感等分为多类;有的适合鲜食,口感脆甜,有的适合烹饪(如做苹果派、苹果酱),还有的适合制酒或制醋。(信息丰富、有条理)
- A3:苹果是水果。(过于简略)
人工标注给出偏好排序 A2 > A1 > A3。训练时把它们两两配对——(A2, A1)、(A2, A3)、(A1, A3)——分别送入奖励模型打分,再依据上面的成对损失函数做反向传播。经过反复迭代,最终奖励模型会学到一个排序结果:A2 的分数高于 A1,A1 的分数高于 A3,与人的判断保持一致。
七、典型应用场景
理解了训练过程,就能更清晰地判断它适用于哪些场景:
- 通用对话与内容生成:经过完整三阶段的模型,适合问答、写作、摘要、翻译、代码辅助等通用任务。
- 垂直领域定制:在通用基座之上,用领域内的问答语料做 SFT,再用领域偏好数据做对齐,可让模型更懂特定行业术语与表达习惯。
- 企业知识型应用:结合检索增强等技术,把企业内部知识注入模型,配合日志服务、监控告警、身份认证等通用云产品能力,可构建受控、可观测的智能应用。
- 偏好与安全性打磨:对合规、无害性要求高的场景,可通过对齐阶段重点优化,让模型更少产生不当内容。
八、与相邻概念的区别
- 预训练 vs 微调:预训练用海量无标注语料学习通用规律,产物是基座;微调用少量高质量标注数据让模型”听话、会聊”,是在基座上的再训练。前者决定”知道多少”,后者决定”用得好不好”。
- SFT vs 奖励模型:SFT 直接优化模型”怎么答”,数据是”指令-回答”对;奖励模型不直接生成答案,而是学习”哪个答案更好”,数据是”偏好排序”。二者目标不同、数据形态不同。
- 奖励模型 vs 主模型:奖励模型是打分器(回归模型),主模型是生成器;强化学习阶段正是用前者指导后者。
- 续写 vs 对话:续写是基座模型的默认行为(generate),对话是指令微调后获得的能力(chat),二者是同一模型在不同训练阶段的两种使用形态。
九、使用与选型注意事项
- 数据质量优先:微调与对齐的效果高度依赖标注数据的质量,噪声大、标注标准不统一的排序数据会直接拖累奖励模型。
- 偏好标注要一致:由于偏好用”相对排序”而非”绝对打分”,务必保证标注规范统一、标注员之间口径一致,否则成对比较的标签会自相矛盾。
- 位置编码与长文本:需要处理长文档的场景,应关注位置编码方案的外推性,避免推理时序列长度超出训练分布导致性能下降。
- 训练稳定性:深层大模型对归一化策略、学习率调度、数值精度等敏感,前置归一化等稳定性手段能显著降低训练崩溃与梯度异常的风险。
- 成本与合规:训练资源消耗大,应做好算力与预算规划;涉及数据隐私与内容安全时,需结合访问控制、内容审核、日志与监控等能力,确保训练与使用过程可管可控。
十、总结
归根结底,大模型训练过程是一条”先学语言、再学听话、最后学讨好人类偏好”的分阶段流水线:预训练奠定基础,有监督微调塑造对话与指令遵循能力,奖励模型与强化学习完成偏好对齐。它以自注意力架构为骨架,以掩码机制保证单向生成的正确性,以前置归一化和旋转位置编码等策略提升训练稳定性与长文本外推能力。理解了每个阶段”做什么、为什么做、怎么做”,就能更准确地评估大模型的能力边界、训练成本与适用场景,也能在工程实践中做出更合理的技术选型。

登录后可评论,请前往 登录 或 注册