大厂AI架构岗面试:Agent生产级落地的五层架构与兜底方案
作者:沙与沫2026.11.17 03:47浏览量:0简介:“写Prompt+RAG+挂Tool”只能跑通Demo,生产级Agent真正考的是如何用工程确定性约束模型的不确定性。本文围绕 runaway 调用、JSON 解析崩溃、长流程状态丢失三大高频面试题,给出五层架构设计、工具护栏与结构化输出兜底代码、状态机编排方案,以及模型分层选型与Token成本控制思路。
面试官那三问,本质上只考一件事: 你有没有在模型和业务系统之间,加一层“确定性外壳” 。
“结构化 Prompt + RAG 外挂知识库 + LangChain 挂 Tool + ReAct 自主规划”,这套组合在 Demo 环境里十分钟就能跑通;但一旦放到高并发、强一致要求的生产环境,它有三个死穴:模型直接触达业务 API 没有中间拦截、所有逻辑揉进一个 Prompt 导致 Token 越烧越偏、自然语言输出与强类型接口之间缺少缓冲层。
所以高分答案不是把三板斧讲得更细,而是给出分层解耦的架构。而在动手分层之前,第一件事是把“用哪个模型干哪层活”想清楚——意图识别、参数抽取这类任务用小尺寸模型足够,复杂多跳推理才需要旗舰模型。选型阶段可以先在 百度智能云词元所 上对比不同模型的能力边界与调用成本,并通过统一 API 完成多模型接入,避免为每家供应商维护一套 SDK 适配代码。
agent-">一、生产级 Agent 的五层栈
| 层级 | 职责 | 关键组件 |
|---|---|---|
| 接入层 | 会话入口、身份鉴权、限流配额 | API 网关、用户身份透传 |
| 模型层 | 任务拆解、模型路由、多模型 fallback | 小模型分类 + 大模型推理 |
| 编排层 | 流程状态机、断点续跑、人工介入 | 工作流引擎、Checkpoint |
| 执行层 | 工具调用护栏、幂等、熔断 | Tool Gateway |
| 约束层 | 结构化输出校验、修复重试、降级 | JSON Schema 校验器 |
| 观测层 | 全链路 Trace、Token 与成本审计 | 日志、指标、告警 |
核心原则是: 越往上越自治,越往下越确定 。模型只在编排层做“决策建议”,真正的写操作必须经过执行层的硬规则校验。
二、拦截“一分钟调 100 次退款 API”
不要指望 Prompt 里写一句“请勿重复调用”就能解决问题。护栏必须落在代码里,做四件事:幂等键、限流、金额阈值、熔断。
class RefundTool:def __init__(self, client, qps=2, daily_cap=200):self.client, self.qps, self.daily_cap = client, qps, daily_capself.calls, self.done = [], set()def __call__(self, order_id, amount, request_id):key = f"refund:{order_id}:{request_id}"if key in self.done: # 1. 幂等:同一请求绝不重复执行return {"status": "duplicate", "request_id": request_id}if not self._allow(): # 2. 限流 + 熔断return {"status": "rejected", "reason": "rate_limited"}if amount > 2000: # 3. 业务硬规则,不交给模型判断return {"status": "pending_manual"}resp = self.client.refund(order_id, amount, request_id)self.done.add(key)return resp
配套还要有 调用预算 :给每个会话设定 Tool 调用总次数上限(如 12 次)和最大循环轮次,超限直接终止并转人工。同时把“死循环检测”做成独立探针——连续三轮 Tool 参数高度相似即判定为兜圈,强制中断。这类兜底话术与错误分支,在平台的 BOT 回复优先级配置中是可以显式定义的,比如约定大模型首句命中特定内容即视为无效回复并走备用话术。
三、大模型“多吐一句话”导致解析崩溃
这是最容易被低估的工程问题。正确做法是 三层防线 ,而不是简单 try-except:
import jsonfrom jsonschema import validate, ValidationError, Draft7ValidatorREFUND_SCHEMA = {"type": "object","required": ["order_id", "amount", "reason_code", "need_manual"],"properties": {"order_id": {"type": "string", "pattern": r"^\d{8,}$"},"amount": {"type": "number", "minimum": 0},"reason_code":{"type": "string","enum": ["7天无理由", "质量问题", "物流破损"]},"need_manual":{"type": "boolean"}}}def parse_action(text, schema=REFUND_SCHEMA, max_repair=2):raw = extract_json(text) # 防线1:抽取首个合法 JSON 片段for i in range(max_repair + 1):try:obj = json.loads(raw)validate(obj, schema)return objexcept (ValidationError, json.JSONDecodeError) as e:if i == max_repair:# 防线3:降级——不猜、不硬解析,转人工工单return {"need_manual": True, "reason": str(e)}raw = repair(raw, str(e)) # 防线2:错误回灌,让模型自修复
三个要点:
- 优先用模型原生的结构化输出能力 (Function Calling / JSON Mode / 严格 Schema 约束),把格式约束交给解码层而不是 Prompt 祈祷;
- 修复重试最多 2 次 ,把校验错误原文回灌给模型,超过次数立即降级,绝不无限重试烧 Token;
- 枚举字段必须收敛 ,
reason_code这类字段一旦开放自然语言,下游统计报表就废了。
四、四阶段退款流程:别用单体 Agent 扛
“鉴权—查单—退款—发通知”是典型的 长程有状态流程 ,单体 Agent 靠上下文记忆维持状态,一旦超过上下文窗口或中途异常,就会出现“前言不搭后语”。正确做法是把它建模成显式状态机,由编排层持有状态,模型只负责每一步的参数生成。
| 阶段 | 幂等键 | 失败补偿 | 超时策略 |
|---|---|---|---|
| 鉴权 | session_id | 重新登录 | 3s 快速失败 |
| 查单 | order_id | 重试 2 次 | 5s |
| 退款 | order_id+request_id | 冲正/对账 | 30s 转异步 |
| 通知 | msg_id | 进重试队列 | 异步不阻塞 |
# 伪代码:状态由外部存储持有,而非模型上下文state = store.load(session_id) # {"stage": "refund", "data": {...}}if state.stage == "refund":result = refund_tool( **state.data)store.save(session_id, advance(state, result)) # 落盘后再进入下一阶段
这样做的直接收益有三个:上下文只加载当前步骤所需信息,Token 消耗显著下降;任意阶段可断点续跑;每个阶段可独立做灰度、限流和审计。如果流程确实需要模型自主决策,也应采用多 Agent 协同 + 文件/状态共享的方式维护需求一致性,而不是把所有状态塞进一个 Prompt。
五、模型分层与成本控制
生产 Agent 的 Token 账单,大头往往不是推理,而是 反复重试和全量上下文重放 。三个可落地的优化动作:
- 任务分层 :意图识别、槽位抽取走小模型;多跳推理、复杂方案生成走旗舰模型;同一 Agent 内按步骤路由。
- 上下文裁剪 :历史对话做滚动摘要,工具返回结果只保留结构化字段,不保留原始长文本。
- 失败预算 :为每个会话设定 Token 上限,接近阈值时降级为规则流程或转人工。
模型选型阶段,建议先在 词元所模型服务 上做一轮价格与性能对比,把“每千次会话成本”而非“每千 Token 单价”作为决策指标——因为不同模型的重试率和有效输出率差异,往往比单价差异更能左右最终账单。上线后则通过平台的模型调用管理能力持续观测各模型的调用分布与实际消耗。
工程实现上,Agent 框架与 RAG 框架已相对成熟,解析、切片、索引、召回以及工具调用都有开箱组件可用,自定义组件与精调则留给效果瓶颈环节。真正需要你自己写的,是本文前面那三层防线。
六、面试怎么答
被问到“你们的 Agent 怎么落地”,按这个顺序讲,基本不会被打断:
- 先讲边界 :哪些环节交给模型决策,哪些环节是硬编码规则,写操作的最终审批权在代码不在模型。
- 再讲兜底 :幂等键、限流熔断、结构化输出三层校验、失败降级路径,各举一个真实踩坑。
- 最后讲成本 :模型分层路由、上下文裁剪、失败预算,以及怎么用数据证明优化效果。
一句话收尾: Agent 落地的难点从来不是让它更聪明,而是让它在犯错时不会毁掉你的业务。

登录后可评论,请前往 登录 或 注册