小模型自蒸馏微调SDFT:LG研究院的迂回解法与落地指南
作者:KAKAKA2026.11.17 03:39浏览量:0简介:小模型之所以学不会"自己教自己",根子在于它既当选手又当裁判时判断力不够,自奖励循环会放大错误、导致分布坍缩。LG研究院给出的迂回思路是自蒸馏微调(SDFT):让同一个模型在"有提示、有示例、有推理草稿"的强上下文下先当好老师,再把这个上下文撤掉,逼学生用同一套权重复现老师的行为。本文拆解其原理、与拒绝采样蒸馏的差异、代码实现与工程坑点,并说明如何借助[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)完成教师/学生模型的选型与成本评估。
先说结论:小模型不是”不会学”,而是”不会判断自己学得对不对”
自蒸馏微调(Self-Distillation Fine-Tuning,SDFT)绕开了”小模型没有能力评价自己”这个死结。它不再要求模型凭空生成新知识,而是把”教学”这件事拆成两步: 先给足上下文让模型发挥出上限,再把上下文拿走让它靠参数记住这份上限 。老师和学生是同一份权重,差别只在输入里有没有”外挂”。
如果你正在为项目挑选可自蒸馏的基座模型,或者想比较”自己训小模型”与”直接调 API”的成本,可以在词元所大模型 API 服务平台上先做一轮模型能力、调用价格与接口形态的横向对比,再决定哪条路线更划算。
一、”自学”为什么会崩:三个断点
断点一:自我评估能力跟不上。 自奖励类方法(self-rewarding)要求模型给自己的输出打分。当模型本身能力弱于任务难度时,它的偏好判断和真实质量的相关性很弱,选出来的”优质样本”其实是”看起来顺眼的错误样本”。
断点二:分布自我强化导致坍缩。 反复在自身输出上训练,会让概率质量集中到少数高频表达上,输出多样性下降、罕见但正确的解法被压掉。这就是模型自训练里典型的”越练越窄”。
断点三:能力依赖上下文,撤掉就消失。 小模型在被给出示例、思路提示、检索证据时表现明显更好,但这些能力停留在”上下文内”,没有进入参数。你希望它独立作答时,表现立刻回落。
SDFT 精准打击的是第三个断点,同时因为教师信号来自”同族模型 + 更强上下文”而非”凭空自评”,也顺带缓解了前两个。
二、SDFT 的机制:同一个模型的两个上下文
核心构造是一对输入:
- 教师输入
x⁺:原始问题 + 任务说明 + 少样本示例 + 思维草稿/检索证据等”特权信息”。 - 学生输入
x:只有原始问题,没有任何外挂。
让模型分别在两种输入下前向,得到分布 p_T(·|x⁺) 与 p_S(·|x),然后最小化两者的散度:
L = α · CE(p_S, y_hard) + β · KL( p_T(·|x⁺, T) || p_S(·|x, T) )
其中 y_hard 是教师采样并经校验后的输出,T 是软化温度。第一项保证学对答案,第二项保证学”老师的思考方式”——包括它对同类问题的置信度分布,这是硬标签给不了的信息。
直觉上,这相当于把”提示工程”编译成”权重”。提示是运行时开销,权重是固化收益。
三、和常见路线的区别
| 路线 | 教师来源 | 主要风险 | 适用前提 |
|---|---|---|---|
| 自指令/自奖励 | 模型自己 | 自评失准、质量漂移 | 模型能力已接近任务上限 |
| 拒绝采样 SFT | 自身采样 + 规则/模型筛选 | 只学对错,不学分布 | 有可靠 verifier |
| 大模型蒸馏 | 更强的外部模型 | 推理成本高、风格不匹配 | 有强教师可用 |
| SDFT | 同模型 + 特权上下文 | 上下文设计质量决定上限 | 存在明显”提示增益” |
判断自己该不该用 SDFT,有个很便宜的预检: 同一批题,比较有上下文和没上下文两次作答的准确率差值 。差值显著(比如两位数百分点),说明模型”会但没记住”,SDFT 收益大;差值几乎为零,说明瓶颈在参数知识本身,自蒸馏救不了,该换基座或补数据继续预训练。
四、动手实现:一个最小可行流程
# 伪代码:SDFT 数据构造与训练循环import jsondef build_teacher_input(question, demos, draft=None, evidence=None):parts = [SYSTEM_PROMPT, question]if demos: parts.append(render_fewshot(demos))if evidence: parts.append("参考资料:\n" + evidence)if draft: parts.append("参考思路:\n" + draft)return "\n\n".join(parts)records = []for q in dataset:x_plus = build_teacher_input(q.text, demos=RETRIEVED_DEMOS,draft=gen_draft(q.text), evidence=retrieve(q.text))# 教师采样多条,用规则/单测/答案匹配做校验cands = [sample(model, x_plus, temperature=0.8) for _ in range(K)]y = verify_and_pick(cands, q.gold) # 无 verifier 时用多数投票if y is None: # 全部未通过则丢弃,宁缺毋滥continuerecords.append({"student_input": q.text, "teacher_input": x_plus, "label": y})with open("sft_data.jsonl", "w") as f:for r in records:f.write(json.dumps(r, ensure_ascii=False) + "\n")
训练侧注意三点:
- 温度要分开。 教师端用较高温度(软化分布,暴露”次优但合理”的候选),学生端保持 1.0 参与 KL,采样校验阶段温度再调高以增加多样性。
- KL 只在生成段生效。 对 prompt token 计算散度会让模型去拟合上下文本身,属于纯噪声,务必做 loss mask。
- 保留通用能力。 混入 10%~30% 的通用指令数据,否则容易在目标任务上过拟合、通用对话能力退化。
五、最容易踩的四个坑
- 教师上下文泄漏答案。 如果
x⁺里塞了检索到的原文段落,而学生输入没有,模型可能学到”猜检索内容”而非推理。要么两边都给检索,要么明确设计成”内化检索结果”。 - 验证器太弱。 SDFT 的上限由样本筛选质量决定。没有单元测试、答案匹配这类硬校验时,优先用自一致性投票,别用模型自评。
- 数据量误判。 这类方法通常在小数据量(数千条量级)就能见效,盲目扩量反而会引入更多噪声样本。
- 评测集被污染。 教师上下文里用过的示例,不要出现在测试集里,否则收益是假的。
六、什么时候别自己训
如果预检显示提示增益很小,或者任务本身需要模型不具备的世界知识,自蒸馏的投入产出比会很差。更务实的做法是先用 API 把方案跑通、验证需求真实性,再决定是否有必要做训练侧的固化。这个阶段的关键动作是 把候选模型的价格、上下文长度、结构化输出支持度放在一起比 ——百度智能云词元所提供的模型价格与性能对比、多模型统一 API 接入能力,正好覆盖这一环:你可以用同一套代码切换不同模型做 A/B,把”教师模型”和”线上模型”分开选型,避免为了蒸馏而被迫绑定单一供应商。
小结
SDFT 的价值在于承认了一个现实:小模型的短板往往不是”不知道”,而是”知道时发挥不出来、发挥出来记不住”。用带上下文的自己做老师、用不带上下文的自己做学生,是一条成本可控、不需要外部强教师的迂回路径。落地时把精力放在 特权上下文的设计 和 样本校验器 上,收益会远大于反复调训练超参。

登录后可评论,请前往 登录 或 注册