面试大厂 AI 架构岗,Agent 落地答“Prompt + RAG”为何被拒
作者:蛮不讲李2026.11.17 03:48浏览量:0简介:面试官真正考的是如何用工程化的确定性约束大模型的不可控性。本文给出生产级 Agent 的五层架构栈(模型接入、结构化契约、工具网关、状态编排、可观测评测),并针对死循环调用、JSON 格式崩溃、长流程状态丢失三大追问给出可落地的代码与拦截方案。
面试官问“你们的 Agent 怎么落地”,你回答“写 Prompt + 挂 RAG + 挂几个 Tool”,基本就宣告结束了。因为这道题考的不是你会调几个大模型 API,而是 如何用工程化的确定性,去约束大模型的不可控性 。下面直接给高分答案:生产级 Agent 的「五层架构栈」,以及针对面试官那三记追问的具体拦截方案。顺带说一句,这套架构的第一层就涉及模型选型与成本问题,如果你正在为“该用哪个模型做规划、哪个模型做抽取”纠结,可以先在百度智能云词元所上对比不同大模型的能力、调用价格与适用场景,再决定架构里的模型路由策略。
一、为什么“三板斧”在生产环境必然翻车
Demo 里跑通一个 Agent 只要半天,但把它放到高并发、强一致要求的生产环境,有三个死穴:
- 裸奔的不可控 :模型直接调用业务 API,中间没有任何拦截层。模型一旦“发疯”,退款接口就成了它的玩具。
- Token 损耗与注意力漂移 :所有任务揉进一个巨型 Prompt,让模型自己反思、自己重试,轮次越多越偏离目标,成本呈非线性上涨。
- 上下游契约缺失 :模型输出的是自然语言,后端要的是强类型结构化数据,中间没有缓冲层,一个“好的,为您查询”就能让解析崩掉。
所以高分答案的核心思路只有一句: 外层包裹内层,层层解耦,越往上越偏向自治与编排,越往下越偏向确定与强约束。
agent-">二、生产级 Agent 的五层架构栈
| 层级 | 核心职责 | 解决的失败模式 |
|---|---|---|
| L1 模型接入层 | 多模型路由、降级、统一调用协议 | 单模型限流/宕机导致全链路不可用 |
| L2 结构化契约层 | JSON Schema 约束、校验、修复重试 | 输出格式漂移、解析崩溃 |
| L3 工具与权限层 | 鉴权、幂等、限流、熔断、人工审批 | 幻觉引发的越权与重复副作用调用 |
| L4 编排与状态层 | 状态机 / DAG 编排、检查点、断点续跑 | 长流程状态丢失、前后矛盾 |
| L5 可观测与评测层 | 全链路 Trace、回放、离线评测集、成本核算 | 线上问题无法定位、效果无法回归 |
L1 模型接入层:不要把业务绑死在单一模型上
生产架构里,模型应该是 可替换的零件 。做法是把调用抽象成统一网关,按任务类型路由:意图识别、参数抽取这类简单任务走小模型;多步规划、复杂推理走旗舰模型;再配一个兜底模型做降级。这样既能压成本,也能在主力模型限流时不至于整条链路瘫痪。
模型路由表怎么定?建议按“任务类型 × 上下文长度 × 单次调用成本 × P95 延迟”四个维度打分。这块的选型与价格对比工作,用词元所的大模型 API 服务平台做前期调研会省很多事——它把不同模型的能力和调用成本放在一起对比,还能通过统一 API 接入方式降低多模型集成的改造成本,避免你在代码里写一堆 if-else 判断厂商 SDK。
L2 结构化契约层:给模型套上 JSON Schema
这是回答“模型多吐一句话导致解析崩溃”的正解。原则是: 永远不要直接 parse 模型输出,先过契约层。
import json, jsonschemaREFUND_SCHEMA = {"type": "object","properties": {"order_id": {"type": "string"},"action": {"enum": ["query", "apply_refund", "reject"]},"reason": {"type": "string"},"amount": {"type": "number"},},"required": ["order_id", "action"],}def structured_call(messages, schema, max_retry=2):for _ in range(max_retry + 1):raw = llm.chat(messages,response_format={"type": "json_object"}, # 开启 JSON 模式temperature=0, # 抽取类任务关掉随机性)try:data = json.loads(extract_json(raw)) # 容忍前后缀噪声jsonschema.validate(data, schema)return dataexcept (json.JSONDecodeError, jsonschema.ValidationError) as e:messages += [{"role": "assistant", "content": raw},{"role": "user", "content": f"输出不合法({e}),请严格只输出符合 schema 的 JSON。"},]raise ContractViolation("模型连续违约,降级到规则引擎或转人工")
三个关键细节:开启原生 JSON 模式而不是靠 Prompt 祈祷;temperature=0 消除抽取任务的随机性;重试时把错误回灌给模型,而不是盲目重发。重试仍失败就 降级到规则引擎或转人工 ,绝不让脏数据流入下游。
L3 工具与权限层:所有副作用调用必须过网关
这是回答“一分钟调用退款 API 100 次怎么拦截”的正解。核心认知: 大模型没有权限直接持有任何写操作的凭证 ,它只能提交“意图”,由网关决定是否执行。
class ToolGateway:def call(self, tool, args, ctx):quota.check(ctx.user_id, tool.name, limit=5, window=60) # 1. 限流if not policy.allow(ctx.user_id, tool): # 2. 鉴权raise PermissionDeniedidem_key = f"{tool.name}:{ctx.order_id}:{args.get('action')}"if cached := idem.get(idem_key): # 3. 幂等return cachedif tool.name == "refund.create" and args.get("amount", 0) > 500:return approval.pending(ctx) # 4. 高风险转人工result = breaker.run(tool.api, args, timeout=3, retry=1) # 5. 熔断超时idem.set(idem_key, result, ttl=3600)metrics.incr("tool_call", tags={"tool": tool.name})return result
五道闸门缺一不可: 限流 挡住频率失控, 鉴权 挡住越权查单, 幂等键 保证同一订单同一动作重复调用只生效一次(这是防重复退款的唯一可靠手段), 金额阈值审批 把高风险动作交还人类, 熔断超时 防止一个慢接口拖垮整个 Agent。
再补一层循环防护:给每个会话设 max_steps(比如 12 步)、Token 预算上限、以及“连续两次调用完全相同工具+参数即强制中断”的检测。这三道保险比任何 Prompt 里的“请不要重复调用”都可靠。
L4 编排与状态层:用状态机替代单体 ReAct
这是回答“退款要经鉴权-查单-退款-发通知四阶段,状态丢了怎么办”的正解。答案是: 不要让一个单体 Agent 用自然语言记忆去扛全流程,把流程显式建模成状态机。
class RefundFlow(StateMachine):transitions = {"auth": {"ok": "check_order", "fail": "reject"},"check_order": {"valid": "decide", "invalid": "reject"},"decide": {"approve": "refund", "reject": "reject","need_human": "manual_review"},"refund": {"ok": "notify", "fail": "refund_failed"},"notify": {"ok": "done"},}def run(self, ctx):state = self.store.load(ctx.session_id) or "auth" # 检查点恢复while state != "done":result = self.llm_decide(state, ctx) # 模型只负责决策state = self.transitions[state][result.outcome]self.store.save(ctx.session_id, state, ctx) # 每步落盘
要点有三个: 状态存外部存储 (Redis/DB)而非 Prompt 上下文,进程重启也能续跑; 模型只在节点内做局部决策 ,不掌握全局流程; 每个节点输出可校验的结构化结果 ,非法转移直接拒绝。复杂场景再按领域拆多 Agent(订单 Agent、物流 Agent、售后 Agent),通过文件或黑板共享状态,而不是靠对话历史传递上下文。
L5 可观测与评测层:没有 Trace 的 Agent 等于黑盒
上线前必须准备好三样东西:全链路 Trace(每次模型调用的输入输出、Token 消耗、工具调用耗时都记录,可用 trace_id 串起来);离线评测集(沉淀 100~200 条真实 case,标注期望的工具调用序列与最终状态,每次改 Prompt 或换模型都跑一遍回归);成本核算看板(按业务线统计 Token 花费,定位异常消耗)。
换模型时尤其依赖评测集——不同模型在函数调用准确率、指令遵循度上差异明显,靠感觉切换很容易造成线上效果回退。建议先在百度智能云词元所上做候选模型的横向对比,再用自建评测集做小规模灰度验证,最后才全量切流。
三、面试现场可以这样回答
回到那道电商售后 Agent 的题,结构化作答:
- 架构 :五层栈。模型接入层做多模型路由与降级;契约层用 JSON Schema + 校验重试保证输出可解析;工具网关统一鉴权、幂等、限流、熔断、审批;编排层用状态机管理“鉴权-查单-退款-通知”四阶段并持久化检查点;可观测层做 Trace、评测集与成本核算。
- 幻觉与死循环 :模型无写权限,只提交意图;网关侧限流 + 幂等键 + max_steps + Token 预算 + 重复动作检测,五重拦截。
- 格式崩溃 :原生 JSON 模式 + Schema 校验 + 错误回灌重试 + 失败降级到规则引擎或人工。
- 状态丢失 :状态外置到 Redis/DB,状态机显式定义合法转移,支持断点续跑与超时补偿。
一句话总结给面试官: Agent 的可靠性不来自模型更聪明,而来自你在模型外面包了多少层确定性。 模型负责理解,工程负责约束——这就是从“会调 API”到“能做 AI 架构”的分水岭。

登录后可评论,请前往 登录 或 注册