从堆参数到榨基座：大模型后训练扩展实践教程

一、教程目标

近期某第三方评测榜单的综合智能指数显示：一款总参数约 7430 亿的开源模型新一代版本拿到 60 分，与一款总参数约 2.8 万亿、896 个专家每次激活 16 个的开源模型并列开源第一；同时，某长程任务基准上的 Elo 评分从 1524 跃升到 1770（+246），位列所有受测模型第二。更关键的事实是：该 7430 亿参数版本与上一代共用同一个基座模型，架构与参数规模完全没变，全部提升来自为期约一个月的后训练扩展。

这两个事实放在一起，说明”分数追平”背后是两条截然不同的路线：一条在预训练阶段堆参数、堆专家、堆算力；另一条在后训练阶段扩大长程任务环境规模、丰富环境类型、放大强化学习规模。

本教程不做营销式解读，而是把这件事转化为一套可操作的工程方法。学完后你应该能够独立完成以下任务：

1. 拿到一个新模型版本时，判断它的分数提升究竟来自基座变强，还是来自后训练；
2. 搭建一套自建评测流水线，复现并交叉验证榜单结论，识别榜单指标与真实业务之间的偏差；
3. 在不更换基座的前提下，设计并实施一次可度量的后训练扩展；
4. 判断”后训练扩展”对你的业务是否划算，避免盲目跟随更大的参数规模。

二、适用读者与适用场景

读者角色	主要诉求
算法工程师	判断基座 vs 后训练的投入产出，设计 RL 环境与训练流程
评测 / 数据工程师	搭建可复现评测、校验榜单口径、做污染检测
技术负责人 / 架构师	模型选型、算力预算、风险评估与迁移决策
应用层开发者	决定接入哪个版本、如何设置上下文与调用参数

典型场景：企业选型时对比多个候选模型；内部自研模型做版本迭代评估；Agent / 工具调用类产品需要长程任务能力；预算有限，希望在现有基座上继续压榨收益。

三、前置准备

知识基础

• 预训练扩展律的基本结论：早期公开研究（2020 年前后）认为参数增速应快于数据增速，比例约 2.7:1；后续研究（2022 年前后）修正为每个参数约需 20 个训练 token 的”计算最优”配比。再往后，业界共识是扩展不止一个旋钮——后训练、推理期计算、环境与数据质量同样是可扩展维度。
• 混合专家（MoE）架构中总参数与激活参数的差别。
• 监督微调（SFT）、可验证奖励强化学习（RLVR）、群体相对策略优化（GRPO 一类方法）的基本流程。
• Elo 评分、pass@k、置信区间等评测统计概念。

环境与资源

• 推理侧：若干张支持长上下文（≥128K）的 GPU 加速卡，可容器化部署在百度智能云的 GPU 云主机或容器平台上。
• 训练侧：单机 8 卡起步可做小规模 RL 验证；扩展实验需要多机多卡，建议用对象存储承载数据集与检查点，用日志服务和监控告警观测 reward 曲线与集群健康度。
• 权限：评测集访问权限、训练集群配额、沙箱网络策略。

数据准备

• 一份 held-out 评测集（严禁与训练数据重叠）。
• 一批可自动判定成败的任务环境（见步骤 5）。
• 版本元数据登记表（见步骤 2）。

四、实施步骤

步骤 1：统一口径——先看”指数怎么算出来的”

综合智能指数通常是多榜单的加权平均（如代码、数学、长上下文、Agent、多语言等）。做决策前必须确认三件事：

• 权重结构：你的业务权重和榜单权重一致吗？如果榜单 60% 权重在代码，而你的业务是中文合同审查，这个”第一”参考价值有限。
• 单项明细：把总分拆成各子项分数，对比两个模型的”得分形状”，而不只是总分。后训练强化带来的提升通常集中在需要多步推理、工具调用、代码执行的长程任务上；而世界知识、静态事实类题目的提升更可能来自基座变化。
• Elo 的特殊性：Elo 是相对分数，依赖评委模型、题目集与对局采样。1770 和 1855 只能在同一个榜单、同一批题目、同一评委配置下比较，跨榜单直接比大小没有意义。

判断口诀：总分看趋势，单项看结构，Elo 只在同榜内比较。

步骤 2：建立版本能力档案，为”归因”留证据

分数分析的第一步不是跑测试，而是把候选版本的元数据登记成表。归因结论几乎全部来自这张表。

字段	示例 A	示例 B
总参数	7430 亿	2.8 万亿
架构	混合专家	混合专家（896 专家，激活 16）
与上一代关系	共用同一基座	新基座
上下文长度	以官方说明为准	以官方说明为准
本次主要变化	后训练	预训练 + 后训练
发布间隔	约一个月	—

注意：参数规模不等于推理算力。896 选 16 意味着每次前向只激活约 1.8% 的参数，2.8 万亿总参数与 7430 亿总参数在单次前向的有效算力差距，远小于两者 3.8 倍的总参数比。这也解释了为什么”更大基座”未必带来成比例的评测优势。

步骤 3：做算力归因，区分预训练扩展与后训练扩展

把提升来源归类，可用下面这张对照表快速定性，再用实验定量确认。

观察维度	指向预训练扩展	指向后训练扩展
基座是否更换	换了新基座	与上一代相同
版本发布节奏	间隔数月	间隔数周
训练侧变化描述	更多参数、更多专家、更多预训练 token	更多任务环境、更丰富环境类型、更大规模 RL
提升分布	知识、语言、通用能力普遍抬升	长程任务、工具调用、代码修复、多步规划显著抬升，闲聊类几乎不变
推理开销	单位 token 成本上升	推理成本基本不变，但输出 token 数可能增加

对照本案例：基座未变 + 发布间隔一个月 + 提升集中在长程任务 Elo（1524→1770），三条证据一致指向后训练扩展。

步骤 4：自建评测流水线，复现榜单结论

4.1 评测集构造

def build_eval_set(business_logs, sampling_ratio=0.02, seed=42):
    pool = dedup_and_decontaminate(business_logs)      # 去重 + 剔除训练集重叠
    strat = stratified_sample(pool, by=["任务类型", "难度", "长度"], ratio=sampling_ratio, seed=seed)
    return [item.with_verifier(rule_or_model_verifier(item)) for item in strat]

要点：必须分层抽样（按任务类型、难度、上下文长度），否则长任务被短任务淹没；必须带可自动判定的验证器。

4.2 推理配置固定

以下参数一旦选定，全批次不再改动，否则分数不可比：

inference:
  temperature: 0.0        # 或 0.6，但必须全程一致
  max_tokens: 16384
  system_prompt: "<固定版本号 v1>"
  tools: ["search", "code_exec", "file_read"]
  max_turns: 20
  quantization: "bf16"    # 量化会改变分数，需记录

4.3 指标计算

• 单题多次采样：每题采样 n 次（n≥4），报 pass@1（均值）、pass@n、以及”一致性”（同一题多次结果相同的比例），用于区分”能力不足”和”能力不足+不稳定”。
• Elo 复算：如果自行组织两两对战，可用标准公式
  • 期望胜率 E = 1 / (1 + 10^((R_opp - R_self) / 400))
  • 更新 R_self' = R_self + K * (S - E)，S 为实际得分（1/0.5/0），K 取 16~32
  • 每轮对战顺序随机化，避免位置偏好
• 置信区间：用 bootstrap（≥1000 次重采样）给出 95% 区间。差值区间跨过 0 时，就不能宣称谁更强。

步骤 5：设计长程任务评测与训练环境（本文核心变量）

案例中”数十倍的长程任务环境、更丰富的环境类型”是提升的主要来源。一个可用的长程任务环境需要具备五要素：

1. 可验证终局判据：任务成败能被程序自动判定（如单元测试全绿、文件内容匹配、最终状态满足断言），而不是靠评委模型主观打分。
2. 多步依赖：任务必须要求 ≥5 步、跨多个工具的连续操作，否则测不出长程能力。
3. 可回滚沙箱：每次任务从固定快照启动，允许写文件、执行命令，但网络受限、权限最小化。
4. 难度分层与课程化：按所需步数分 easy/medium/hard 三档，训练时按当前能力动态调整采样比例。
5. 防作弊校验：禁止直接读取答案文件、禁止跳过中间步骤、检测”抄近路”式解法，避免奖励被 hack。

环境目录示意：

envs/<domain>/<task_id>/
├── init/          # 初始文件系统快照
├── instruction.md # 任务描述
├── verify.py      # 返回 0/1（或 0~1 的部分分）
├── metadata.json  # 难度、所需步数、依赖工具、预估 token
└── canary.txt     # 防污染哨兵串

步骤 6：实施后训练扩展（SFT 冷启动 + 强化学习）

6.1 阶段一：轨迹冷启动 SFT

从强模型或人工示范中收集成功轨迹，过滤后做 SFT，解决”格式与工具调用协议”问题。

data = [t for t in collect_trajectories(base_model, envs, n_per_task=8)
        if verify(t) and passes_format_check(t) and not is_shortcut(t)]
data = balance_by_difficulty(data, target={"easy":0.2, "medium":0.5, "hard":0.3})
sft(base_model, data, epochs=2, lr=1e-5, max_len=32768)

6.2 阶段二：可验证奖励强化学习

用 GRPO 一类组内相对优势方法：同一任务采样 G 条轨迹（G=8~16），以验证器给出的成败/部分分作为奖励，组内做优势归一化。

def reward_fn(traj, env):
    base = env.verify(traj)                 # 0/1 或部分分
    penalty = 0.1 * (traj.num_turns > env.max_turns * 0.8)   # 长度膨胀惩罚
    penalty += 0.5 if env.check_canary_leak(traj) else 0.0   # 作弊惩罚
    return max(0.0, base - penalty)
# 外层扩展循环：环境与 RL 规模同步放大
for stage in curriculum:                    # 按难度分阶段扩张
    envs = stage.sample_envs(n_envs=stage.n_envs)
    rollouts = generate(sft_model, envs, group_size=G, temperature=1.0)
    adv = group_normalize([reward_fn(r, r.env) for r in rollouts])
    rl_step(sft_model, rollouts, adv, kl_coef=0.02, lr=1e-6)
    eval_and_checkpoint(sft_model)          # 每阶段留出 held-out 评测

关键取舍说明：

配置项	作用	风险
环境数量 n_envs	决定任务覆盖面，越多越不易过拟合到少量题型	环境构造成本线性上升
环境类型多样性	决定能力能否跨域迁移	类型过杂会导致训练信号互相冲突
采样组长 G	组内基线稳定性	G 太小优势估计噪声大
KL 系数	约束偏离 SFT 模型的幅度	过大学习不动，过小易崩坏、输出退化
最大轮数 / 上下文长度	长程任务必需	显存与吞吐成本急升
长度惩罚	抑制”绕远路刷步数”	过重会抑制必要的探索

6.3 扩展过程监控（必须项）

盯 6 条曲线，任一异常立即停下排查：

1. 训练任务成功率（应稳步上升）
2. held-out 任务成功率（只涨训练集 = 过拟合，不算真实提升）
3. 格式合规率（骤降通常意味着 RL 已开始崩坏）
4. 平均输出长度与平均轮数（单调上升 = 长度膨胀）
5. 奖励分布与熵（奖励塌缩到常数、熵快速归零 = 训练发散前兆）
6. 每千 token 成本（衡量扩展的性价比）

步骤 7：结果验证——证明”是真的变强了”

单次评测不足以支撑决策，需完成四项验证：

• 可复现性：固定随机种子与解码参数，同一版本重复评测 3 次，分数标准差应小于 1 分。
• 显著性：对关键差值做 bootstrap 置信区间或配对检验，区间不含 0 才算提升。
• 污染检测：检查 held-out 题目是否出现在训练轨迹里；用 canary 串检测数据泄露。
• 业务对齐：把榜单指标与你的真实业务指标做相关性分析。如果相关系数低于 0.6，说明该榜单不适合作为你的选型依据，应自建评测集。

五、常见问题与排查

现象	常见原因	排查思路
榜单涨了，业务体感没变	榜单权重与业务不匹配；提升集中在长程任务而你的场景是短问答	拆子项分数，做榜单-业务相关性分析
长程任务分数波动大	任务本身多解、验证器过严、采样温度不固定	固定温度与种子，多次采样取均值，放宽部分分
训练集成功率涨、held-out 不涨	环境数量不足导致过拟合题型	扩充环境数量与类型，加入未见域任务
奖励被”hack”	存在绕过步骤的捷径或可读取答案	加 canary 校验、步骤完备性断言、路径白名单
训练中后期输出退化、重复	KL 约束过松、学习率过大、长度膨胀	提高 KL 系数，降学习率，加长度惩罚，回滚到最近健康检查点
长上下文任务显存溢出	上下文长度与并发过高	开启序列并行/梯度检查点，降并发，分桶处理长度
与榜单分数对不上	系统提示词、工具集、量化方式、推理引擎实现差异	逐一比对推理配置，先做小规模一致性对齐实验
换了基座后旧能力回退	新基座引入能力漂移	建立版本回归测试集，覆盖历史已解决问题

六、优化与决策建议

性能与稳定性：评测与训练分离集群，避免相互抢占；长任务用异步队列 + 工作池执行；对评测请求做结果缓存（题目+配置指纹作为 key），重复实验不必重算。

安全：沙箱默认拒绝网络、限制文件系统写权限、任务超时强制终止；对上传的任务环境做静态扫描，防止验证器脚本被执行时越权。

成本：优先用”小样本探针集”（100~200 题）做快速迭代，只有候选方案收敛后再跑全量评测；用消息队列做削峰；对低价值任务降级到更小模型。

可维护性：评测集、环境集、训练配置全部版本化，一次实验 = 一个不可变快照；报告模板化，固定输出”总分 / 子项 / 置信区间 / 训练动态 / 成本”五段。

选型决策框架：

决策 = f(能力匹配度, 单位任务成本, 迁移风险, 迭代速度)
# 若候选版本仅靠后训练提升：
#   能力匹配度：看长程/工具任务子项，不看总分
#   单位任务成本：推理算力基本不变，但需计入输出长度增加与失败重试
#   迁移风险：基座未变，风险显著低于换基座方案
#   迭代速度：后训练周期短（数周级），适合快速跟进

七、总结

回到最初的问题：”分数追平”该怎么看？本教程给出的答案是——先看提升来自哪个阶段，再看提升落在哪类任务上，最后用自建评测验证是否可信。

• 路线 A（大力出奇迹）：更大基座、更多专家、更高预训练算力。注意 MoE 的激活比例决定了”参数规模”与”实际算力”并非线性关系。
• 路线 B（后训练扩展）：基座不变，用一个月时间把长程任务环境规模扩到数十倍、丰富环境类型、放大 RL 规模，把长程任务 Elo 从 1524 推到 1770。
• 行业层面的意义：预训练扩展律从”参数快于数据（2.7:1）”到”约 20 tokens/参数”，再到”后训练与推理期计算同样是可扩展维度”——扩展不止一个旋钮，这给预算有限但数据与工程能力强的团队提供了一条现实可行的路径。

后续可继续深入的方向：推理期计算扩展（长思考链、多次采样投票）与后训练扩展的组合效果；环境自动构造与验证器自动生成；跨榜单口径统一与评测污染检测；以及后训练扩展的边际收益递减点在哪里。把这些做成可度量的实验，比追逐单个榜单排名更有长期价值。