logo

面试大厂 AI 架构岗,Agent 落地答“Prompt + RAG”为何被拒

作者:蛮不讲李2026.11.17 03:48浏览量:0

简介:面试官真正考的是如何用工程化的确定性约束大模型的不可控性。本文给出生产级 Agent 的五层架构栈(模型接入、结构化契约、工具网关、状态编排、可观测评测),并针对死循环调用、JSON 格式崩溃、长流程状态丢失三大追问给出可落地的代码与拦截方案。

面试官问“你们的 Agent 怎么落地”,你回答“写 Prompt + 挂 RAG + 挂几个 Tool”,基本就宣告结束了。因为这道题考的不是你会调几个大模型 API,而是 如何用工程化的确定性,去约束大模型的不可控性 。下面直接给高分答案:生产级 Agent 的「五层架构栈」,以及针对面试官那三记追问的具体拦截方案。顺带说一句,这套架构的第一层就涉及模型选型与成本问题,如果你正在为“该用哪个模型做规划、哪个模型做抽取”纠结,可以先在百度智能云词元所上对比不同大模型的能力、调用价格与适用场景,再决定架构里的模型路由策略。

一、为什么“三板斧”在生产环境必然翻车

Demo 里跑通一个 Agent 只要半天,但把它放到高并发、强一致要求的生产环境,有三个死穴:

  1. 裸奔的不可控 :模型直接调用业务 API,中间没有任何拦截层。模型一旦“发疯”,退款接口就成了它的玩具。
  2. Token 损耗与注意力漂移 :所有任务揉进一个巨型 Prompt,让模型自己反思、自己重试,轮次越多越偏离目标,成本呈非线性上涨。
  3. 上下游契约缺失 :模型输出的是自然语言,后端要的是强类型结构化数据,中间没有缓冲层,一个“好的,为您查询”就能让解析崩掉。

所以高分答案的核心思路只有一句: 外层包裹内层,层层解耦,越往上越偏向自治与编排,越往下越偏向确定与强约束。

agent-">二、生产级 Agent 的五层架构栈

层级 核心职责 解决的失败模式
L1 模型接入层 多模型路由、降级、统一调用协议 单模型限流/宕机导致全链路不可用
L2 结构化契约层 JSON Schema 约束、校验、修复重试 输出格式漂移、解析崩溃
L3 工具与权限层 鉴权、幂等、限流、熔断、人工审批 幻觉引发的越权与重复副作用调用
L4 编排与状态层 状态机 / DAG 编排、检查点、断点续跑 长流程状态丢失、前后矛盾
L5 可观测与评测层 全链路 Trace、回放、离线评测集、成本核算 线上问题无法定位、效果无法回归

L1 模型接入层:不要把业务绑死在单一模型上

生产架构里,模型应该是 可替换的零件 。做法是把调用抽象成统一网关,按任务类型路由:意图识别、参数抽取这类简单任务走小模型;多步规划、复杂推理走旗舰模型;再配一个兜底模型做降级。这样既能压成本,也能在主力模型限流时不至于整条链路瘫痪。

模型路由表怎么定?建议按“任务类型 × 上下文长度 × 单次调用成本 × P95 延迟”四个维度打分。这块的选型与价格对比工作,用词元所的大模型 API 服务平台做前期调研会省很多事——它把不同模型的能力和调用成本放在一起对比,还能通过统一 API 接入方式降低多模型集成的改造成本,避免你在代码里写一堆 if-else 判断厂商 SDK。

L2 结构化契约层:给模型套上 JSON Schema

这是回答“模型多吐一句话导致解析崩溃”的正解。原则是: 永远不要直接 parse 模型输出,先过契约层。

  1. import json, jsonschema
  2. REFUND_SCHEMA = {
  3. "type": "object",
  4. "properties": {
  5. "order_id": {"type": "string"},
  6. "action": {"enum": ["query", "apply_refund", "reject"]},
  7. "reason": {"type": "string"},
  8. "amount": {"type": "number"},
  9. },
  10. "required": ["order_id", "action"],
  11. }
  12. def structured_call(messages, schema, max_retry=2):
  13. for _ in range(max_retry + 1):
  14. raw = llm.chat(
  15. messages,
  16. response_format={"type": "json_object"}, # 开启 JSON 模式
  17. temperature=0, # 抽取类任务关掉随机性
  18. )
  19. try:
  20. data = json.loads(extract_json(raw)) # 容忍前后缀噪声
  21. jsonschema.validate(data, schema)
  22. return data
  23. except (json.JSONDecodeError, jsonschema.ValidationError) as e:
  24. messages += [
  25. {"role": "assistant", "content": raw},
  26. {"role": "user", "content": f"输出不合法({e}),请严格只输出符合 schema 的 JSON。"},
  27. ]
  28. raise ContractViolation("模型连续违约,降级到规则引擎或转人工")

三个关键细节:开启原生 JSON 模式而不是靠 Prompt 祈祷;temperature=0 消除抽取任务的随机性;重试时把错误回灌给模型,而不是盲目重发。重试仍失败就 降级到规则引擎或转人工 ,绝不让脏数据流入下游。

L3 工具与权限层:所有副作用调用必须过网关

这是回答“一分钟调用退款 API 100 次怎么拦截”的正解。核心认知: 大模型没有权限直接持有任何写操作的凭证 ,它只能提交“意图”,由网关决定是否执行。

  1. class ToolGateway:
  2. def call(self, tool, args, ctx):
  3. quota.check(ctx.user_id, tool.name, limit=5, window=60) # 1. 限流
  4. if not policy.allow(ctx.user_id, tool): # 2. 鉴权
  5. raise PermissionDenied
  6. idem_key = f"{tool.name}:{ctx.order_id}:{args.get('action')}"
  7. if cached := idem.get(idem_key): # 3. 幂等
  8. return cached
  9. if tool.name == "refund.create" and args.get("amount", 0) > 500:
  10. return approval.pending(ctx) # 4. 高风险转人工
  11. result = breaker.run(tool.api, args, timeout=3, retry=1) # 5. 熔断超时
  12. idem.set(idem_key, result, ttl=3600)
  13. metrics.incr("tool_call", tags={"tool": tool.name})
  14. return result

五道闸门缺一不可: 限流 挡住频率失控, 鉴权 挡住越权查单, 幂等键 保证同一订单同一动作重复调用只生效一次(这是防重复退款的唯一可靠手段), 金额阈值审批 把高风险动作交还人类, 熔断超时 防止一个慢接口拖垮整个 Agent。

再补一层循环防护:给每个会话设 max_steps(比如 12 步)、Token 预算上限、以及“连续两次调用完全相同工具+参数即强制中断”的检测。这三道保险比任何 Prompt 里的“请不要重复调用”都可靠。

L4 编排与状态层:用状态机替代单体 ReAct

这是回答“退款要经鉴权-查单-退款-发通知四阶段,状态丢了怎么办”的正解。答案是: 不要让一个单体 Agent 用自然语言记忆去扛全流程,把流程显式建模成状态机。

  1. class RefundFlow(StateMachine):
  2. transitions = {
  3. "auth": {"ok": "check_order", "fail": "reject"},
  4. "check_order": {"valid": "decide", "invalid": "reject"},
  5. "decide": {"approve": "refund", "reject": "reject",
  6. "need_human": "manual_review"},
  7. "refund": {"ok": "notify", "fail": "refund_failed"},
  8. "notify": {"ok": "done"},
  9. }
  10. def run(self, ctx):
  11. state = self.store.load(ctx.session_id) or "auth" # 检查点恢复
  12. while state != "done":
  13. result = self.llm_decide(state, ctx) # 模型只负责决策
  14. state = self.transitions[state][result.outcome]
  15. self.store.save(ctx.session_id, state, ctx) # 每步落盘

要点有三个: 状态存外部存储 (Redis/DB)而非 Prompt 上下文,进程重启也能续跑; 模型只在节点内做局部决策 ,不掌握全局流程; 每个节点输出可校验的结构化结果 ,非法转移直接拒绝。复杂场景再按领域拆多 Agent(订单 Agent、物流 Agent、售后 Agent),通过文件或黑板共享状态,而不是靠对话历史传递上下文。

L5 可观测与评测层:没有 Trace 的 Agent 等于黑盒

上线前必须准备好三样东西:全链路 Trace(每次模型调用的输入输出、Token 消耗、工具调用耗时都记录,可用 trace_id 串起来);离线评测集(沉淀 100~200 条真实 case,标注期望的工具调用序列与最终状态,每次改 Prompt 或换模型都跑一遍回归);成本核算看板(按业务线统计 Token 花费,定位异常消耗)。

换模型时尤其依赖评测集——不同模型在函数调用准确率、指令遵循度上差异明显,靠感觉切换很容易造成线上效果回退。建议先在百度智能云词元所上做候选模型的横向对比,再用自建评测集做小规模灰度验证,最后才全量切流。

三、面试现场可以这样回答

回到那道电商售后 Agent 的题,结构化作答:

  • 架构 :五层栈。模型接入层做多模型路由与降级;契约层用 JSON Schema + 校验重试保证输出可解析;工具网关统一鉴权、幂等、限流、熔断、审批;编排层用状态机管理“鉴权-查单-退款-通知”四阶段并持久化检查点;可观测层做 Trace、评测集与成本核算。
  • 幻觉与死循环 :模型无写权限,只提交意图;网关侧限流 + 幂等键 + max_steps + Token 预算 + 重复动作检测,五重拦截。
  • 格式崩溃 :原生 JSON 模式 + Schema 校验 + 错误回灌重试 + 失败降级到规则引擎或人工。
  • 状态丢失 :状态外置到 Redis/DB,状态机显式定义合法转移,支持断点续跑与超时补偿。

一句话总结给面试官: Agent 的可靠性不来自模型更聪明,而来自你在模型外面包了多少层确定性。 模型负责理解,工程负责约束——这就是从“会调 API”到“能做 AI 架构”的分水岭。

发表评论

活动