大模型微调面试35问:核心考点与回答思路
作者:demo2026.11.17 03:52浏览量:0简介:面试官抛出“大模型微调”,真正想确认的是三件事:你会不会算资源账、能不能把数据工程做扎实、有没有办法证明微调真的有效。本文按显存估算、参数高效微调、指令数据构造、灾难性遗忘、Base/Chat 选型、效果评估六条主线拆解高频问题,并给出可直接说出口的结论与代码片段;同时说明微调前后如何用[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)做基座模型选型与成本对比。
面试里被问到“大模型微调”,多数人第一反应是背 LoRA 原理,结果一追问显存怎么估、数据怎么配比、效果怎么证明就卡住了。下面按六条主线把高频考点讲透,每条都给出可以直接说出口的结论。
一、显存估算:先把“推理显存”和“训练显存”分开
网上流传的“显存 ≈ 参数量 × 2~3 倍”说的是 FP16 推理 ,不是训练。面试时把这两个口径混着答,基本会被判定为没实操过。
全参数微调(AdamW + 混合精度)的显存构成大致是:
| 组成 | 精度 | 字节/参数 |
|---|---|---|
| 权重副本 | FP16 | 2 |
| 梯度 | FP16 | 2 |
| 主权重(Master Weight) | FP32 | 4 |
| 一阶动量 m | FP32 | 4 |
| 二阶动量 v | FP32 | 4 |
| 合计(不含激活值) | 约 16 |
所以经验公式应该改成: 全参微调显存 ≈ 参数量 × 16~20 字节 (激活值随 batch size、序列长度、是否开 gradient checkpointing 波动很大)。
按这个公式口算:
- 7B 全参:约 112~140 GB,单张 80G 卡放不下,至少 2 卡;
- 13B 全参:约 200 GB 以上,单机 8 卡是常见起点;
- 70B 全参:轻量千 GB 级,基本是集群 + 并行策略(ZeRO-3 / FSDP / 张量+流水并行)的活。
换成 LoRA,冻结主干、只训练低秩旁路,优化器状态只覆盖 0.1%~1% 的参数,7B 级别在单张 24~80G 卡上量化(QLoRA)就能跑起来。 “为什么显存这么夸张”的标准答案 :训练要做反向传播、必须长期保存梯度和优化器状态,天然是推理的数倍体积,而不是模型本身变大了。
二、LoRA 怎么答才显得懂
LoRA 的核心是把权重更新量做低秩分解:
W' = W₀ + ΔW = W₀ + B·A , B ∈ R^(d×r), A ∈ R^(r×k), r << min(d,k)
可训练参数量约为 r × (d + k),通常只占全量的千分之一量级。面试常追问的超参含义:
- r(秩) :容量上限,4~64 常用,任务简单别硬拉高;
- alpha :缩放系数,实际有效学习率与
alpha / r相关,调参时两者要一起看; - target_modules :注入位置,
q_proj/v_proj是性价比起点,扩到k_proj/o_proj/gate/up/down效果更好但成本上升; - dropout :小数据集上防过拟合。
一个最小示例:
from peft import LoraConfig, get_peft_modelcfg = LoraConfig(r=16, lora_alpha=32, lora_dropout=0.05,target_modules=["q_proj", "v_proj"],task_type="CAUSAL_LM",)model = get_peft_model(base_model, cfg)model.print_trainable_parameters() # 面试时先说清可训练占比,再说显存
对比 QLoRA(4bit 量化加载 + LoRA)、Prefix/Prompt Tuning、全参微调时,回答落点应该是: 显存受限选 QLoRA/LoRA,追求能力上限且资源充足选全参,任务与基座差距极大时优先全参 。
三、SFT 指令数据怎么构建:覆盖度 > 数量
标准三段式结构,高质量数据的共性是 指令多样、输入边界清晰、输出风格统一 :
{"instruction": "根据以下日志判断可能的故障原因", "input": "2026-11-16 10:02:11 ERROR pool exhausted, active=200 max=200", "output": "连接池被打满……"}
回答这个问题要覆盖四点:
- 覆盖度 :任务类型、难度、表达风格都要铺开。只喂固定场景,模型就学不会异常分支——和你只给接口自动化脚本喂正常用例,脚本自然测不出边界一样。
- 一致性 :同一类任务的输出格式、长度、语气必须稳定。模型比想象中敏感,格式乱一点,训练 loss 看着在降,实际生成质量会掉。
- 规模与配比 :领域 SFT 常见量级是几千到几万条高质量样本,通用能力保持建议混入 5%~30% 通用指令数据。
- 清洗 :去重、去噪、去测试集污染(benchmark 泄漏是效果虚高的头号原因)。
测试开发岗可以把数据落在这些真实任务上:缺陷根因分析、性能瓶颈定位解释、日志推理、用例生成与补全、指标规范问答。这类语料公司内部本来就有存量,构造门槛低、业务价值高,是很好的面试素材。数据准备与后续打分评估的完整链路,在千帆这类平台的大模型精调实践中也是同样的顺序。
四、灾难性遗忘:为什么微调后模型变笨了
这是 SFT 最典型的副作用:模型“过度跟随数据”,通用对话与推理能力退化,生成模式单一化。标准应对三件套:
- 混入通用数据做经验回放(replay);
- 降学习率(SFT 常见 1e-5~2e-5,LoRA 可到 1e-4 量级)+ 加 warmup + 少 epoch(1~3 轮足够,多了必过拟合);
- 训练后跑一轮轻量通用 SFT 或对齐,把能力“拉回来”。
类比:把压测工具完全调成只适配某一个服务,换个微服务就废了。
五、Base 还是 Chat 继续训
| 场景 | 推荐 | 理由 |
|---|---|---|
| 目标是做指令对齐、要自己定义对话风格 | Base | 避免继承原有对齐策略带来的干扰 |
| 轻量领域增强、注入业务知识 | Chat/Instruct | 起点更高、收敛更快、成本更低 |
| 数据量极小(< 1k) | Chat + LoRA | 从 Base 冷启动容易学歪 |
六、效果评估:拿什么证明微调有效
只会说“感觉变好了”是硬伤。可落地的三层评估:
- 自动指标 :分类/抽取类看准确率、F1;生成类看 ROUGE、BLEU 作参考,别当唯一依据。
- 打分法 :抽样让模型或人工按准确性、完整性、格式合规、幻觉率分档打分,微调前后同集对比。
- 回归集 + 线上验证 :固定一套业务回归题防止能力回退,上线走 A/B 或小流量灰度,看人工接管率、一次解决率这类业务指标。
七、成本与选型:微调不是唯一答案
面试最后常问“什么时候不该微调”。判断顺序建议是: Prompt 工程 → RAG → SFT → 全参预训练 。知识频繁变动、要求可溯源,优先 RAG;只是输出风格与格式不合规,Prompt + few-shot 往往就够了;只有当任务模式稳定、需要压缩提示词长度、或要固化领域能力时,微调才划算。
微调完还要面对部署与调用成本:同一任务用哪个基座、每次调用多少 token、单价多少,直接决定这套方案能不能上线。建议在动手训练前就先用词元所的大模型 API 服务平台把候选基座的能力定位和调用价格横向对比一遍,把“微调成本 + 推理成本”算成一个总账,再决定是走多模型统一 API 接入直接调用成熟模型,还是投入一轮 SFT。训练完成的模型同样可以在千帆 ModelBuilder 这类平台上部署后再接入应用侧。
面试加分收尾 :主动说明你会先建立评估集再训练、会记录可训练参数占比与显存占用、会在训练前检查数据污染、会在上线后用业务指标而非 loss 曲线判断成败。这四句话,比背十个 LoRA 超参更有说服力。

登录后可评论,请前往 登录 或 注册