Scaling Law 怎么用？模型架构选型与训练优化实战

自回归语言模型的训练成本与模型效果之间存在可量化的规律，也就是常说的“扩展律”（Scaling Law）。早期研究对比了 Transformer 与 LSTM 这两类架构的扩展表现，发现一个关键洞察：在相同计算量（FLOPs）或参数量下，Transformer 的验证损失始终低于 LSTM。这意味着架构本身的“投入产出比”存在显著差异，如果只关注模型大小而忽略架构效率，很容易把算力浪费在低效的基座上。本文将把这一洞察转化为一套可操作的实验流程，帮助你用扩展律的思维完成架构选型与训练优化。

教程目标

完成一套“架构扩展效率评估”实验：基于扩展律公式，通过多组不同规模的训练，拟合损失与计算量的关系曲线，比较不同架构（如 Transformer 类与 LSTM 类）的扩展效率差异，并据此选择更合适的架构、估算满足业务指标所需算力与数据规模。

适用场景

• 从零开始训练自回归语言模型的团队；
• 需要选择基础架构的技术负责人或算法工程师；
• 评估已有模型在增加算力后性能提升空间的开发者；
• 需要向管理层解释“为什么换架构”或“为什么增加算力”成本收益的决策者。

前置准备

在开始实验前，请确认具备以下条件：

• 计算环境：可用的 GPU/加速卡集群，或云上算力资源（例如百度智能云的 GPU 云服务器）；
• 数据资源：足够大且清洗后的文本数据集，训练集和验证集需要严格分离；
• 训练框架：支持分布式训练的开源深度学习框架，以及日志记录组件；
• 基础权限：能创建实例、读写存储、查看监控日志的账号权限；
• 知识储备：了解交叉熵损失、学习率调度、FLOPs 估算等基本概念。

实施步骤

步骤 1：明确评估指标

所有模型必须在同一数据集上计算验证集交叉熵损失，同时记录训练消耗的总计算量（FLOPs）。不要只对比参数量，因为参数量相同但架构不同，计算量和表达能力可能差异很大。FLOPs 是更公平的“成本”指标。

扩展律通常表示如下：

L = a * C^(-b) + c

其中 L 为验证损失，C 为训练计算量（FLOPs），a 为常数，b 为可扩展性指数，c 为不可约损失（数据集本身的熵下界）。本步骤的核心是确定“成本”和“效果”两个维度的量化方式。

步骤 2：建立统一基线

固定数据集、分词器、序列长度、批大小和优化器配置。验证集在所有训练任务中必须完全相同。否则，不同架构之间的损失差异可能来自数据分布差异，而不是架构本身。

建议在正式实验前，先使用一个小模型跑通整条训练链路，确认数据预处理、日志记录和评估逻辑均正确。基线准备越充分，后续多规模训练的可比性就越强。

步骤 3：设计多规模训练矩阵

为了拟合扩展曲线，至少需要 3 组不同规模的模型，建议 5 组以上，分布范围尽量跨越一到两个数量级。例如从小型到中型再到大型，逐步增加隐藏层维度、层数或注意力头数。

每组规模需要记录：

• 参数量；
• 总 FLOPs；
• 训练步数；
• 处理的有效词元数；
• 最终验证集损失。

注意：不同规模模型应该使用相似的收敛判断标准。如果小模型训练不足，其损失会偏高，曲线上看就像“扩展效率差”，这是错误结论。

步骤 4：训练并记录关键指标

对每个架构、每个规模组合执行一次完整的训练任务。训练结束后，从训练日志中提取最终验证损失和总计算量。如果有多个随机种子，建议取多次训练的平均值。

对于稠密自回归模型，业界常用 6 * 参数量 * 训练词元数 来估算训练总 FLOPs；如果使用的是稀疏模型结构，则需要按照实际激活参数计算。你也可以使用训练框架自带的性能分析器获取更精确的统计值。

步骤 5：拟合扩展曲线

将所有实验点绘制在“验证损失 - FLOPs”的对数坐标系中。对扩展律公式两边取对数可得到线性化形式：

log(L - c) = log(a) - b * log(C)

使用最小二乘法拟合参数 a、b、c。比较两类架构时，需要同时关注：

• b 越大，代表损失随计算量下降越快，扩展效率越高；
• a 越小，代表在相同计算量下绝对损失更低；
• 曲线整体位置越低，说明该架构在相同算力下效果更好。

如果 Transformer 的拟合曲线整体位于 LSTM 下方，且 b 不低，则说明在扩展律尺度下，Transformer 能以更少的 FLOPs 或参数达到同样的损失水平。

步骤 6：进行架构选型与算力估算

基于拟合后的曲线，你可以回答几个关键业务问题：

• “要达到目标损失，需要多少总 FLOPs？”
• “在固定预算内，哪个架构能实现更低损失？”
• “把当前模型的计算量增加 10 倍，损失大约能降低多少？”

将目标损失代入拟合方程即可反推出所需 FLOPs。再根据硬件单卡每秒可执行的 FLOPs 数和模型并行效率，换算成 GPU 时数和成本。

配置说明

训练配置建议遵循以下原则：

• 模型规模：从小规模开始，逐档增加；每档之间保持 2~4 倍参数量差距；
• 训练数据量：可以采用“固定词元数”模式，即所有规模都训练相同数量的词元；也可以采用“训练到验证损失收敛”的模式，二者选一，并在所有架构间保持一致；
• 学习率调度：使用“预热 + 衰减”策略。峰值学习率需要随模型规模调整，建议在每种规模上先做小范围调参，否则小模型欠拟合、大模型不收敛；
• 稳定性控制：使用梯度裁剪、随机种子固定、定期保存检查点，避免训练中断后重复计算。

示例说明

以下为通用伪代码，仅用于描述实验流程，不依赖任何特定框架：

for arch in [transformer, lstm]:           # 架构类型：Transformer/LSTM
    for scale in [small, medium, large]:   # 规模档位
        model = build_model(arch, scale)
        dataset = load_dataset("validated_split")
        total_flops = estimate_flops(model, dataset.num_tokens)
        val_loss = train_and_evaluate(model, dataset)
        record(arch, scale, total_flops, val_loss)
# 拟合扩展曲线
for arch in [transformer, lstm]:
    x = log(flops[arch])
    y = log(loss[arch] - c_estimate)
    a, b = linear_regression(x, y)
    plot_curve(arch, a, b)

结果验证

完成拟合后，请从以下角度验证结论是否可靠：

• 散点图是否呈现近似直线下降趋势；
• 拟合优度（如 R²）是否接近 1，残差是否无明显规律；
• 两类架构的曲线是否有足够大的横坐标跨度（建议覆盖 10 倍以上计算量差异）；
• 在相同 FLOPs 下，是否始终观察到某类架构损失更低。

如果验证失败，优先检查实验数据是否在“同一验证集、同一收敛标准”下获得。

常见问题与排查

现象：小模型损失很高，曲线形散乱的。
原因：学习率不合适或训练步数不足。
解决方法：延长训练时间，对小规模模型做学习率搜索。

现象：两条扩展曲线出现交叉。
原因：实验噪声、训练未收敛或数据预处理不一致。
解决方法：统一训练数据与验证集，多次运行取平均。

现象：大模型训练时损失不下降或直接发散。
原因：学习率过高、批大小过小或训练稳定性不足。
解决方法：增加预热步数、使用梯度裁剪、降低峰值学习率。

现象：FLOPs 估算差异大。
原因：估算口径不一致。
解决方法：使用训练框架的 profiling 工具统计实际计算量，并在所有实验中使用同一口径。

优化建议

• 性能优化：使用混合精度训练、梯度累积和分布式数据并行，提高算力利用率；
• 成本优化：先以本文的小规模对比流程完成架构选型，再启动大规模正式训练，避免方向选错后付出高昂试错成本；
• 稳定性优化：将代码版本、数据版本、训练配置和拟合参数全部记录在实验日志中，确保结果可复现；
• 安全与合规：确保训练数据已进行隐私过滤和敏感信息脱敏，避免模型在业务上线后输出不安全内容。

总结

本文基于扩展律的核心洞察，给出了一套评估模型架构扩展效率的操作流程。通过训练多个规模的模型并拟合“损失-计算量”曲线，可以清晰看到 Transformer 类架构相对 LSTM 类架构的优势：在相同计算量或参数量下损失更低，能以更少成本获得更优效果。这套方法不仅适用于模型架构选型，还可延伸到数据规模、模型宽度与深度等维度的优化中。当你下一次面对“该用什么架构、该花多少算力”的问题时，扩展律曲线就是最可靠的决策依据之一。