大模型面试题高频考点与项目深挖指南
作者:蛮不讲李2026.11.17 03:26浏览量:1简介:大模型面试题真正拉开差距的不是背概念,而是能否把原理、工程取舍和线上指标讲清楚。本文按基础原理、微调训练、RAG、Function Calling、Agent、推理成本六大板块梳理高频考点,附代码示例与答题框架,并说明如何借助[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)完成模型选型与成本测算。
面试官问大模型题,很少是为了听你背 Transformer 论文。真实的考察链条通常是三层: 概念是否准确 → 是否踩过坑 → 能否用指标证明效果 。同一个问题,”注意力机制怎么算的”是及格线,”为什么我们线上把 top_p 从 0.9 调到 0.7、幻觉率降了多少”才是加分项。
如果你正在准备面试、同时想快速摸清各家模型的能力边界和调用成本,可以先用百度智能云词元所做一轮横向对比,把”选型依据”变成简历里能讲的数据。
一、基础原理:考的是”能不能解释清楚”
高频题基本固定:
- Self-Attention 的计算过程 :Q/K/V 的来源、为什么除以 √d_k(防止点积过大导致 softmax 梯度消失)、多头的作用(不同子空间捕捉不同关系)。
- 为什么用 LayerNorm 而不是 BatchNorm :NLP 变长序列下 batch 维度统计不稳定,LN 在特征维归一化,与 batch size 解耦。
- 位置编码 :正弦绝对位置编码 → 可学习位置编码 → RoPE(旋转位置编码)。要能说出 RoPE 的核心优势是 相对位置感知 + 长度外推性较好 。
- Tokenizer 相关 :BPE / WordPiece / SentencePiece 差异,中文场景为什么词表大小影响压缩率,以及”同样一句话不同模型 token 数不同,直接影响计费”。
采样参数 :temperature 控制分布平滑度,top_p 是累积概率截断,两者一般不同时大幅调整;结构化输出任务应把 temperature 压低。
答题技巧 :每个概念后面挂一个”我在项目里怎么用的”。比如讲完 RoPE,补一句”我们做过长文档摘要,128K 上下文模型在中段信息召回上明显弱于首尾,所以采用了分段摘要再汇总的策略”——这就是工程感。
二、训练与微调:区分”知道”和”做过”
| 考点 | 需要答出的关键判断 |
|---|---|
| 全参微调 vs LoRA | LoRA 只训练低秩旁路矩阵,显存与存储成本大幅下降,适合任务定制;全参适合数据量大、需要大幅改变模型行为的场景 |
| LoRA 超参 | rank、alpha、target_modules(一般覆盖 q/k/v/o 与 FFN)、learning_rate 通常比全参高一个量级 |
| 数据质量 vs 数量 | 千条高质量、格式统一的指令数据往往优于几万条噪声数据;要能说出”去重、去噪、难度分层、答案一致性校验” |
| 灾难性遗忘 | 混入通用指令数据(回放)、降低学习率、减少 epoch |
| SFT / RLHF / DPO | DPO 省掉独立 reward model,工程链路更短,是目前偏好对齐的常见选择 |
| 过拟合识别 | 训练 loss 降但验证集指标停滞、模型开始复读训练集表述 |
必背追问 :”你怎么判断该用 Prompt 还是该微调?”标准答案是先看 任务是否稳定、数据是否可标注、是否有延迟和成本约束 。Prompt 工程 + few-shot 能解决 70% 的场景;只有当输出格式必须严格统一、或需要注入大量领域隐性知识时,微调才划算。
rag-">三、RAG:面试官最爱深挖的方向
RAG 的难点从来不是”把文档灌进向量库”,而是上线三个月后用户投诉”还在推荐已下架的产品”。可以按检索链路分层回答:
- 切分策略 :固定长度切分 → 按语义/标题层级切分 → 父子块(小块检索、大块喂给模型)。要能说出 overlap 的作用是避免答案被切断在边界。
- 召回 :向量检索(语义)+ BM25(关键词)混合召回,通常比单一路径稳。专业术语、型号、人名这类 query 尤其依赖关键词通道。
- 重排 :cross-encoder rerank 对 Top 20~50 结果重排,取前 3~5 条进上下文,是性价比最高的一次升级。
- 上下文组织 :加上”检索时间””文档版本”等元信息,让模型能判断信息新鲜度。
- 增量更新与失效 :文档变更要触发重新切分与向量重建,并保留版本号;这是解决”推荐下架产品”的根本手段。
- 评估 :召回率 / 命中率(答案是否在 Top-K)、答案忠实度(faithfulness)、引用准确率。没有评估集的 RAG 优化都是玄学。
# 混合召回 + 重排的最小骨架def retrieve(query, top_k=5):dense = vector_db.search(embed(query), top_n=30) # 语义召回sparse = bm25.search(query, top_n=30) # 关键词召回merged = reciprocal_rank_fusion([dense, sparse]) # RRF 融合return reranker.rerank(query, merged)[:top_k] # 精排截断
四、Function Calling:让概率模型做确定性的事
这是 LLM 应用里最拧巴的环节——模型生成的是自然语言,而工具调用要求 100% 精确。高频考点:
- 参数生成的可靠性 :用 JSON Schema 约束参数,把枚举值写进描述,必填项写清含义与单位。
- 失败兜底 :解析失败要重试并回传错误信息让模型自我修正,而不是直接抛异常。
for attempt in range(3):resp = llm.call(tools=tools, messages=messages, temperature=0)try:args = json.loads(resp.tool_calls.arguments)return tool_registry[resp.tool_calls.name]( **args)except (json.JSONDecodeError, TypeError) as e:messages.append({"role": "tool", "content": f"参数错误: {e},请按 schema 修正"})raise ToolCallError("重试三次仍失败,降级为人工兜底")
- 幂等与副作用 :写操作类工具必须设计幂等键,避免模型重复调用造成重复下单。
- 工具数量膨胀 :工具超过十几个时,先做工具检索(按语义筛选候选工具)再交给模型选择。
agent-">五、Agent:考架构,不考框架
面试官对 Agent 的关注点集中在 可控性 :
- 规划范式 :ReAct(推理-行动交替)、Plan-and-Execute(先规划再执行)。要能说出 ReAct 灵活但步数不可控,Plan-and-Execute 成本可预测但重规划失败代价高。
- 上下文管理 :历史无限增长会撞上下文窗口并推高成本,常用做法是摘要压缩 + 关键实体保留 + 滑动窗口。
- 循环终止 :必须设置最大步数、超时和重复动作检测,否则会出现死循环烧 token。
- 多 Agent 拆分 :按职责拆(检索 Agent、执行 Agent、审核 Agent),比堆一个巨型 Prompt 更可维护,也更容易定位问题。
- 可观测性 :每一步的输入输出、工具耗时、token 消耗都要落日志,这是”工程级”和”玩具”的分水岭。
六、推理成本与模型选型:最容易被追问的数字题
成本估算公式要张口就来:
单次调用成本 = (输入 token 数 × 输入单价 + 输出 token 数 × 输出单价) / 1_000_000月度成本 = 单次成本 × 日调用量 × 30
优化手段按性价比排序: Prompt 精简(去掉冗余示例)→ 语义缓存 → 小模型分流(简单意图走轻量模型)→ 输出长度约束 → 批处理/异步 → 私有化部署 。
选型时建议做一张对比表,把候选模型在 效果、上下文长度、单价、限流配额、是否支持工具调用 五个维度列清楚,再结合自己的任务集跑一遍小规模评测。这一步可以直接在词元所大模型 API 服务平台上完成——它提供模型能力场景说明、价格与性能对比,以及统一 API 接入方式,省去逐个平台注册和改造代码的成本,面试时也能把”我怎么做的选型”讲成有依据的决策。
七、项目深挖:把简历项目讲成工程级
面试官追问的套路很固定: 为什么这么设计 → 遇到什么问题 → 怎么定位 → 效果如何 。建议每个项目准备四个数字:
- 效果指标:准确率 / 召回率 / 人工采纳率的绝对值与提升幅度
- 性能指标:P95 延迟、首 token 时间
- 成本指标:单次调用成本、月度总成本下降比例
- 稳定性指标:失败率、降级触发率
同时准备一个”失败案例”。比如”上线初期 Function Calling 参数错误率约有一成,通过补 JSON Schema 约束 + 错误回传重试降到可忽略水平”——能讲清排查路径的候选人,比只会说”效果很好”的候选人可信度高得多。
八、别忘了手撕题
高频编码题不多但必考:手写 Multi-Head Attention、实现带 top_p 的采样、写带重试与退避的 API 调用封装、实现简易 RAG 切分函数、用 heapq 做 Top-K 融合排序。这些题不难,但写不出来会直接抵消前面所有优势。
最后一条建议:面试前把你简历上的每个技术名词都追问自己三层”为什么”。答不上来的名词,就从简历里删掉——这比多写十个框架名有用。

登录后可评论,请前往 登录 或 注册