logo

面试大厂 AI 架构岗:Agent 生产级落地的五层架构与三大死穴解法

作者:carzy2026.11.17 03:51浏览量:0

简介:面试官问“你们的 Agent 怎么落地”,想听的从来不是 Prompt 和 RAG,而是你如何用工程化的确定性去约束大模型的不可控性。本文拆解生产级 Agent 的五层架构,给出防死循环、强结构化输出、长流程状态管理的可落地代码,并附模型选型与成本控制思路。

面试官那句“下一个”,否定的不是技术栈,而是 架构思维的缺位 。“Prompt + RAG + LangChain 挂 Tool”是 Demo 三板斧,能跑通,但扛不住生产环境的并发、资金和合规风险。真正的高分答案只有一句话: 用工程化的确定性,约束大模型的不可控性 。而在动手写代码之前,第一件事往往是把模型选型这一层想清楚——不同模型在指令遵循、JSON 稳定性、长上下文上的表现差异很大,直接决定了你后面要写多少兜底逻辑。可以先在百度智能云词元所上对比各家模型的能力与调用成本,再决定哪一层用哪个模型。

一、先看清“三板斧”的三个致命死穴

死穴 表现 生产后果
裸奔的不可控 模型直接调用退款、支付等业务 API,中间无拦截 一次幻觉 = 100 次错误退款,资损不可逆
极高 Token 损耗 所有任务揉进一个 Prompt,靠模型自我反思重试 越烧 Token 越偏离目标,成本与时延双失控
脆弱的上下游对接 模型输出自然语言,后端要的是强类型数据 多吐一句“好的,为您查询”,JSON 解析全线崩

二、AI 工程五层栈:外层包裹内层,层层解耦

设计原则只有一条: 越往上越自治,越往下越确定 。

  1. 接入层 :统一网关,负责鉴权、限流、多模型路由、Token 计量。
  2. 模型层 :按任务难度分流。意图识别、字段抽取走小模型;多步推理、复杂决策走旗舰模型。
  3. 能力层(工具网关) :所有业务 API 必须经过的收口,做参数校验、幂等、配额、熔断。
  4. 编排层 :用状态机/工作流替代单体 ReAct,把长流程切成短阶段。
  5. 治理层 :全链路 Trace、离线评测集、人工接管通道。

三、死穴一:模型发疯狂调退款 API 怎么拦

答案不在 Prompt 里,在 工具网关 。给每个工具套一层带配额、幂等键和高危动作二次校验的执行器:

  1. import json, time, hashlib
  2. from dataclasses import dataclass, field
  3. @dataclass
  4. class ToolGuard:
  5. max_calls: int = 5 # 单会话工具调用上限
  6. max_refund_amount: int = 500 # 免审额度
  7. ttl: int = 300
  8. _counter: dict = field(default_factory=dict)
  9. _idem: dict = field(default_factory=dict)
  10. def run(self, session_id: str, tool: str, args: dict, fn):
  11. # 1. 配额熔断:防死循环
  12. key = f"{session_id}:{tool}"
  13. self._counter[key] = self._counter.get(key, 0) + 1
  14. if self._counter[key] > self.max_calls:
  15. raise RuntimeError(f"tool quota exceeded: {tool}")
  16. # 2. 幂等:同参数在 TTL 内只真正执行一次
  17. raw = tool + json.dumps(args, sort_keys=True, ensure_ascii=False)
  18. idem = hashlib.sha256(raw.encode()).hexdigest()
  19. if idem in self._idem:
  20. return self._idem[idem]
  21. # 3. 高危动作二次校验,超额转人工
  22. if tool == "refund" and args.get("amount", 0) > self.max_refund_amount:
  23. return {"ok": False, "code": "NEED_MANUAL_REVIEW"}
  24. result = fn( **args)
  25. self._idem[idem] = result
  26. return result

三个关键点: 调用配额 (同一会话同一工具超限直接熔断)、 幂等键 (网络重试不会重复退款)、 金额阈值 (模型无权决定大额资金流向)。工具白名单也要收紧——退款 Agent 就不该看到 update_user 这类写接口。

四、死穴二:JSON 格式崩了怎么兜底

不要指望“请你只输出 JSON”这种提示词约束,要用 约束解码 + 校验重试 + 降级 三层:

  1. from pydantic import BaseModel, Field, ValidationError
  2. class RefundDecision(BaseModel):
  3. action: str = Field(pattern="^(approve|reject|manual)$")
  4. order_id: str
  5. reason: str
  6. def strict_json(llm, prompt: str, schema, retries: int = 2):
  7. for _ in range(retries + 1):
  8. raw = llm(prompt, response_format={"type": "json_object"})
  9. try:
  10. return schema.model_validate_json(raw)
  11. except ValidationError as e:
  12. prompt += f"\n上次输出不合法:{e},请只输出 JSON。"
  13. # 兜底:解析失败一律转人工,绝不把脏数据丢给下游
  14. return schema(action="manual", order_id="", reason="parse_failed")

工程上还要做两件事:一是 前后缀剥离 ,用正则截取第一个 { 到最后一个 },容忍模型的开场寒暄;二是 语义兜底 ,action=manual 时直接进人工工单队列,而不是让异常冒泡到接口层。

五、死穴三:四阶段长流程状态丢了怎么办

“鉴权—查单—退款—发通知”绝不该由一个单体 Agent 扛。正确做法是 外层工作流编排,内层单阶段自治 :每个阶段有独立 Prompt、独立工具白名单、独立校验器,阶段间通过结构化 Context 传递,并落 checkpoint 支持断点续跑。

  1. STAGES = ["auth", "check_order", "refund", "notify"]
  2. def run_refund_flow(ctx, llm):
  3. for stage in STAGES:
  4. ctx = HANDLERS[stage](ctx, llm) # 每阶段独立 Prompt + 工具白名单
  5. ctx.save_checkpoint(stage) # 落 Redis/DB,支持超时续跑
  6. if ctx.need_human(stage):
  7. return ctx.handoff_to_human(stage)
  8. return ctx.result()

这样做还有个隐性收益: Token 成本大幅下降。每阶段只加载自己需要的上下文和工具描述,而不是把整个流程说明和 20 个工具定义塞进一个 Prompt 反复重放。配合模型分层路由——鉴权、通知这类模板化环节交给轻量模型,只在退款决策这类需要推理的环节调用旗舰模型——整体调用成本通常能压下一个量级。具体各模型的单价与能力差异,可以在词元所上做横向比价后再定路由策略,并通过统一 API 接入,避免为每家模型单独写一套 SDK 适配。

六、上线前的自检清单

  • 每个写操作工具是否都有幂等键和调用配额?
  • 所有模型输出是否都过 Schema 校验,且有转人工兜底?
  • 长流程是否落 checkpoint,能否从任意阶段恢复?
  • 是否有全链路 Trace,能定位到具体是哪次模型调用出的错?
  • 是否准备了 50~100 条真实场景的离线评测集,用于回归验证?

回到那道面试题:面试官真正想听的,是你能把“不可控的概率模型”包装成“可交付、可回滚、可审计的工程系统”。答出工具网关、结构化输出兜底和状态机编排这三点,才算真正跨过 AI 工程化核心岗的门槛。

发表评论

活动