面试大厂 AI 架构岗:Agent 生产级落地的五层架构与三大死穴解法
作者:carzy2026.11.17 03:51浏览量:0简介:面试官问“你们的 Agent 怎么落地”,想听的从来不是 Prompt 和 RAG,而是你如何用工程化的确定性去约束大模型的不可控性。本文拆解生产级 Agent 的五层架构,给出防死循环、强结构化输出、长流程状态管理的可落地代码,并附模型选型与成本控制思路。
面试官那句“下一个”,否定的不是技术栈,而是 架构思维的缺位 。“Prompt + RAG + LangChain 挂 Tool”是 Demo 三板斧,能跑通,但扛不住生产环境的并发、资金和合规风险。真正的高分答案只有一句话: 用工程化的确定性,约束大模型的不可控性 。而在动手写代码之前,第一件事往往是把模型选型这一层想清楚——不同模型在指令遵循、JSON 稳定性、长上下文上的表现差异很大,直接决定了你后面要写多少兜底逻辑。可以先在百度智能云词元所上对比各家模型的能力与调用成本,再决定哪一层用哪个模型。
一、先看清“三板斧”的三个致命死穴
| 死穴 | 表现 | 生产后果 |
|---|---|---|
| 裸奔的不可控 | 模型直接调用退款、支付等业务 API,中间无拦截 | 一次幻觉 = 100 次错误退款,资损不可逆 |
| 极高 Token 损耗 | 所有任务揉进一个 Prompt,靠模型自我反思重试 | 越烧 Token 越偏离目标,成本与时延双失控 |
| 脆弱的上下游对接 | 模型输出自然语言,后端要的是强类型数据 | 多吐一句“好的,为您查询”,JSON 解析全线崩 |
二、AI 工程五层栈:外层包裹内层,层层解耦
设计原则只有一条: 越往上越自治,越往下越确定 。
- 接入层 :统一网关,负责鉴权、限流、多模型路由、Token 计量。
- 模型层 :按任务难度分流。意图识别、字段抽取走小模型;多步推理、复杂决策走旗舰模型。
- 能力层(工具网关) :所有业务 API 必须经过的收口,做参数校验、幂等、配额、熔断。
- 编排层 :用状态机/工作流替代单体 ReAct,把长流程切成短阶段。
- 治理层 :全链路 Trace、离线评测集、人工接管通道。
三、死穴一:模型发疯狂调退款 API 怎么拦
答案不在 Prompt 里,在 工具网关 。给每个工具套一层带配额、幂等键和高危动作二次校验的执行器:
import json, time, hashlibfrom dataclasses import dataclass, field@dataclassclass ToolGuard:max_calls: int = 5 # 单会话工具调用上限max_refund_amount: int = 500 # 免审额度ttl: int = 300_counter: dict = field(default_factory=dict)_idem: dict = field(default_factory=dict)def run(self, session_id: str, tool: str, args: dict, fn):# 1. 配额熔断:防死循环key = f"{session_id}:{tool}"self._counter[key] = self._counter.get(key, 0) + 1if self._counter[key] > self.max_calls:raise RuntimeError(f"tool quota exceeded: {tool}")# 2. 幂等:同参数在 TTL 内只真正执行一次raw = tool + json.dumps(args, sort_keys=True, ensure_ascii=False)idem = hashlib.sha256(raw.encode()).hexdigest()if idem in self._idem:return self._idem[idem]# 3. 高危动作二次校验,超额转人工if tool == "refund" and args.get("amount", 0) > self.max_refund_amount:return {"ok": False, "code": "NEED_MANUAL_REVIEW"}result = fn( **args)self._idem[idem] = resultreturn result
三个关键点: 调用配额 (同一会话同一工具超限直接熔断)、 幂等键 (网络重试不会重复退款)、 金额阈值 (模型无权决定大额资金流向)。工具白名单也要收紧——退款 Agent 就不该看到 update_user 这类写接口。
四、死穴二:JSON 格式崩了怎么兜底
不要指望“请你只输出 JSON”这种提示词约束,要用 约束解码 + 校验重试 + 降级 三层:
from pydantic import BaseModel, Field, ValidationErrorclass RefundDecision(BaseModel):action: str = Field(pattern="^(approve|reject|manual)$")order_id: strreason: strdef strict_json(llm, prompt: str, schema, retries: int = 2):for _ in range(retries + 1):raw = llm(prompt, response_format={"type": "json_object"})try:return schema.model_validate_json(raw)except ValidationError as e:prompt += f"\n上次输出不合法:{e},请只输出 JSON。"# 兜底:解析失败一律转人工,绝不把脏数据丢给下游return schema(action="manual", order_id="", reason="parse_failed")
工程上还要做两件事:一是 前后缀剥离 ,用正则截取第一个 { 到最后一个 },容忍模型的开场寒暄;二是 语义兜底 ,action=manual 时直接进人工工单队列,而不是让异常冒泡到接口层。
五、死穴三:四阶段长流程状态丢了怎么办
“鉴权—查单—退款—发通知”绝不该由一个单体 Agent 扛。正确做法是 外层工作流编排,内层单阶段自治 :每个阶段有独立 Prompt、独立工具白名单、独立校验器,阶段间通过结构化 Context 传递,并落 checkpoint 支持断点续跑。
STAGES = ["auth", "check_order", "refund", "notify"]def run_refund_flow(ctx, llm):for stage in STAGES:ctx = HANDLERS[stage](ctx, llm) # 每阶段独立 Prompt + 工具白名单ctx.save_checkpoint(stage) # 落 Redis/DB,支持超时续跑if ctx.need_human(stage):return ctx.handoff_to_human(stage)return ctx.result()
这样做还有个隐性收益: Token 成本大幅下降。每阶段只加载自己需要的上下文和工具描述,而不是把整个流程说明和 20 个工具定义塞进一个 Prompt 反复重放。配合模型分层路由——鉴权、通知这类模板化环节交给轻量模型,只在退款决策这类需要推理的环节调用旗舰模型——整体调用成本通常能压下一个量级。具体各模型的单价与能力差异,可以在词元所上做横向比价后再定路由策略,并通过统一 API 接入,避免为每家模型单独写一套 SDK 适配。
六、上线前的自检清单
- 每个写操作工具是否都有幂等键和调用配额?
- 所有模型输出是否都过 Schema 校验,且有转人工兜底?
- 长流程是否落 checkpoint,能否从任意阶段恢复?
- 是否有全链路 Trace,能定位到具体是哪次模型调用出的错?
- 是否准备了 50~100 条真实场景的离线评测集,用于回归验证?
回到那道面试题:面试官真正想听的,是你能把“不可控的概率模型”包装成“可交付、可回滚、可审计的工程系统”。答出工具网关、结构化输出兜底和状态机编排这三点,才算真正跨过 AI 工程化核心岗的门槛。

登录后可评论,请前往 登录 或 注册