从零开始在线训练大语言模型：小白实战指南

一、写在前面：小白的合理目标是什么

提到“训练大语言模型”，多数初学者的第一反应是“这需要庞大集群和天文数字的预算”。但如果把目标从“训练出业界领先模型”调整为“完整跑通预训练、监督微调、偏好对齐三个阶段，并理解每一步为什么这么做”，那么一台单机多卡服务器、不到三天的时间，就足以完成一次从零到一的全流程实践。

本文以一个参数规模适中、能够完整装入单机6张数据中心级加速卡的模型为例，给出三个阶段的真实资源配置（数据规模、训练时长、批量大小、学习率、序列长度、分布式策略），逐项解释这些数字背后的设计逻辑，最后补充从训练到在线部署的完整链路。

二、训练前的三项准备

2.1 算力：一台单机多卡实例就够了

三个阶段全部使用同一台单机6卡实例，好处有二：环境不必反复搭建，且三阶段数据具备直接可比性。选型时重点关注三点：

• 卡间互联带宽：多卡数据并行时梯度同步依赖卡间通信，高带宽互联能显著减少等待；
• 单卡显存：显存决定micro batch上限，建议选择数据中心级大显存卡型；
• 计费方式：训练总时长约70小时，按量租用即可，无需包月。

这类实例在各大云平台均可申请，例如通过百度智能云等提供弹性GPU算力的平台按小时租用，训练完即释放，成本可控。

2.2 数据：三个阶段、三种形态

• 预训练语料：约160亿token。 覆盖网页文本、百科、书籍、代码等来源，关键工序是去重、质量过滤与敏感内容清洗——语料质量直接决定模型“底子”。若从零开始，还需先训练自己的分词器，并保证三阶段共用同一分词器。
• 监督微调数据：约900万条“指令—回答”样本。 覆盖问答、写作、摘要、代码、推理等任务，格式必须统一为同一套对话模板。
• 偏好数据：约6万条偏好对。 每条包含同一提示下人工标注的“更优回答”与“更差回答”。

2.3 分布式策略：二阶段优化器状态分片的数据并行

训练显存被四类对象占据：参数、梯度、优化器状态、激活值，其中优化器状态通常占参数量的数倍。所谓“二阶段分片”，是将优化器状态与梯度切分到各数据并行卡、每卡保留完整参数副本，从而大幅降低显存峰值，通信开销仅略高于普通数据并行。对单机6卡场景，它是省显存与实现复杂度之间最平衡的选择，也是新手最稳妥的起点。

示意性配置如下（具体键名以所用框架文档为准）：

run_mode: pretrain            # pretrain / sft / dpo
data:
  seq_len: 1024
train:
  global_batch_size: 1152
  micro_batch_size: 16        # 按显存压力调整，差额用梯度累积补齐
  precision: bf16
  learning_rate: 1.0e-4
  warmup_ratio: 0.03
  lr_scheduler: cosine
  epochs: 1
  grad_clip: 1.0
parallel:
  data_parallel: 6
  sharding_stage: 2           # 优化器状态与梯度分片
  tensor_parallel: 1
  pipeline_parallel: 1

三、三阶段配置总览

配置项	预训练	监督微调（SFT）	偏好对齐（DPO）
数据规模	约160亿token	约900万条	约6万条
训练时长	约25小时	约43小时	约1小时
训练轮次	1	3	3
硬件	单机6卡	单机6卡	单机6卡
全局batch_size	1152	1152	384
学习率	1e-4	1e-5	5e-7
序列长度	1024	1024	1024
分布式策略	二阶段分片数据并行	二阶段分片数据并行	二阶段分片数据并行

这张表揭示了三条规律：数据规模每下降一两个数量级，学习率就大幅下调；数据越少，训练轮次越多；分布式策略不变时，换阶段的本质只是换“数据+超参”。

四、阶段一：预训练——让模型学会“说话”

预训练让模型从海量文本中习得语言规律与世界知识，是数据量最大、单轮成本最高的一步。

配置解读：

• 1个epoch、160亿token：语料足够大时单轮遍历即可，重复多轮边际收益低且易造成记忆化；
• 学习率1e-4，配合warmup与余弦衰减：从零训练时初始参数随机，需要较大学习率快速起步；初期warmup避免震荡，随后余弦衰减收敛；
• 全局batch_size 1152：大批量让梯度估计更平稳、吞吐更高；单卡装不下时用“小micro batch + 梯度累积”凑出全局批量；
• 序列长度1024：语料按文档切块拼接（packing）到定长，兼顾上下文覆盖与算力开销。

实用校验技巧：用“数据量÷时长”估算聚合吞吐。160亿token÷25小时≈每小时6.4亿token，即约18万token/秒。若实测吞吐明显偏低，说明配置或数据管线有瓶颈，应先排查再继续。

过程监控：盯紧loss曲线是否平滑下降、梯度范数有无异常尖峰，并定期保存checkpoint（模型权重+优化器状态+数据读取位置），确保中断后可续训。

五、阶段二：监督微调（SFT）——让模型学会“听话”

预训练模型只会“续写”，SFT用指令数据教会它“对话”。

配置解读：

• 学习率降到1e-5，比预训练小一个数量级：模型已具备语言能力，这一步是行为塑造。学习率过大会引发灾难性遗忘，冲掉预训练学到的知识；
• 3个epoch：900万条相对预训练是小数据，多轮训练能显著提升指令遵循，但必须用验证集盯防过拟合；
• 43小时反而比预训练25小时更长：这不是异常。粗略折算，900万条×3轮×1024长度约等于270亿token处理量，高于预训练单轮的160亿；再加上指令数据长短不一带来的padding开销，43小时完全合理。可见“数据少”不等于“训练快”；
• loss只计算回答部分：对提示词做mask，让模型专注学习“如何回答”。

实践要点：数据质量远比数量重要，掺入大量低质样本不如精选一半；对话模板必须与后续推理部署模板完全一致，否则线上效果会大打折扣。

六、阶段三：偏好对齐（DPO）——让模型学会“讨人喜欢”

SFT后的模型“会回答”，但未必“答得好”。DPO（直接偏好优化）用人类偏好数据进一步对齐输出。

原理一句话：在参考模型（通常为冻结的SFT模型）约束下，根据偏好对直接优化策略模型，使其提高“更优回答”相对概率的同时，不偏离参考模型太远。损失函数可示意为：

L = −log σ( β · ( log πθ(y_w|x)/π_ref(y_w|x) − log πθ(y_l|x)/π_ref(y_l|x) ) )

其中 y_w 为更优回答，y_l 为更差回答，β 控制约束强度。

配置解读：

• 学习率5e-7，比SFT再小两个数量级：偏好优化对步长极其敏感，学习率过大会导致模型过度偏离参考分布，出现“偏好分数上升、语言质量崩坏”的退化，小两个数量级是常见安全区；
• batch_size降到384：每个偏好对需同时输入“正例+负例”两条序列，等效序列数翻倍、显存压力增大，故全局批量缩至三分之一；
• 仅需1小时：6万条数据3轮遍历是轻量任务，但这恰是其最大价值——对齐环节足够便宜，才支撑得起高频迭代。

七、超参数背后的设计逻辑

1. 学习率三级台阶：1e-4 → 1e-5 → 5e-7。 从零学知识要大步快走；在既有能力上调整行为要小步慢走；偏好雕刻近乎“微创”。每次换阶段，学习率下调幅度应与“破坏已有能力的风险”成正比。
2. epoch数与数据规模大致成反比。 大语料一轮足矣，小数据集靠多轮，判断标准始终是验证集表现而非固定轮数。
3. batch_size服务于梯度稳定与显存可行两个目标。 预训练与SFT用1152求稳求快；DPO因等效序列翻倍被迫缩小，而更小批量带来的梯度噪声在偏好优化中未必是坏事。
4. 序列长度统一为1024是明确的工程折中。 统一长度让三阶段复用同一套数据管线与显存规划，代价是放弃长上下文，对短问答为主的场景是划算的。

至于为何不选三阶段分片或张量/流水线并行：二阶段分片通信量小、实现简单，单机场景收益已足够；更复杂的并行是为“单卡装不下模型”或“跨机扩展”准备的，模型不大时只会徒增复杂度。

八、训练监控与常见坑

必盯指标：训练/验证loss、梯度范数、聚合吞吐（token/秒）、显存峰值、加速卡利用率。

高频踩坑与对策：

• 显存溢出（OOM）：优先减小micro batch并用梯度累积补齐全局批量；再开启激活重计算（梯度检查点）；最后考虑降低序列长度；
• loss突然飙升：确认梯度裁剪已开启（如clip=1.0）；记录并跳过异常数据batch；必要时回滚上一个checkpoint并以更低学习率继续；
• 去重不彻底：重复样本会导致模型大量背诵原文，务必在数据侧做精确+模糊去重；
• 模板不一致：训练与推理模板不一致，是“训练效果好、上线效果差”的最常见原因；
• 忽视断点续训：云上实例可能被回收，checkpoint必须包含模型、优化器状态与数据读取进度三件套。

九、从训练到在线：部署与持续迭代

训练完成只是半程，模型变成在线服务才算闭环：

1. 格式转换与压缩：将checkpoint转为推理格式，按需做INT8/INT4量化，可显著降低显存占用与响应延迟，小模型量化后的质量损失通常可控；
2. 推理服务化：选用支持连续批处理、KV缓存复用的高吞吐推理引擎，将模型封装为RESTful API，配套鉴权、限流、日志与监控告警；
3. 灰度评估：先小流量上线，自动化基准测试与人工抽样双轨评估，确认无退化后放量；
4. 数据飞轮：将线上badcase与用户反馈整理为新的偏好对，注入下一轮DPO。由于DPO仅需1小时，“每周一次对齐迭代”完全可行——这是自持全流程带来的最大红利。

十、小结

对初学者而言，三阶段配置表就是一张“作战地图”：预训练用大数据、大学习率、单轮次打基础；SFT用中数据、中学习率、多轮次塑行为；DPO用小数据、极小学习率、极短时间做对齐。真正需要记住的是两条主线——学习率随阶段递减、数据规模与轮次成反比。先花三天跑通全流程，再逐步加大数据、拉长序列、迭代偏好，你对大语言模型训练的体感将远比只看论文来得扎实。