Agent 落地只答 Prompt+RAG?分层架构才是高分答案
作者:搬砖的石头2026.11.17 03:22浏览量:0简介:面试大厂 AI 架构岗被问“Agent 怎么落地”,只答“写 Prompt 加 RAG”几乎必挂。真正的答案是分层解耦:编排层、执行层、工具网关层、模型层各司其职,把不可控的生成能力包在可控的工程结构里。本文给出可直接复用的架构分层、代码骨架与 Token 成本控制方法,并说明如何用[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)完成多模型选型与统一接入。
面试官问“你们的 Agent 怎么落地”,期待听到的不是技术名词清单,而是 你在生产环境里如何驯服不确定性 。只答“Prompt + RAG + Tool”,暴露的是 Demo 思维;能讲清分层解耦、失败兜底和成本结构,才说明你真扛过线上流量。
一、为什么“三板斧”在生产环境必然翻车
在 Demo 里跑通一个 Agent 确实只要半天,但把它放到高并发、高可用的生产链路上,会立刻撞上三堵墙。
1. 裸奔的不可控。 模型直接调用业务 API,中间没有任何拦截层。模型一旦产生幻觉参数或越权意图,脏数据就直接写进订单库、CRM 或工单系统,且往往没有回滚路径。
2. 极高的 Token 损耗。 把所有任务揉进一个巨型 Prompt,让模型自己“反思—重试—再反思”,轮次越多 Token 越贵,上下文越长模型越容易偏离原始目标。一个本该三步完成的任务,实际跑了十二轮。
3. 脆弱的上下游对接。 大模型输出的是自然语言,后端要的是强类型结构化数据。中间缺少校验与转换缓冲层,一个多余的逗号或一句“好的,我来帮您”就能让下游 JSON 解析全线报错。
所以高分答案的主线只有一句话: 外层包裹内层,层层解耦,越往上越偏自治与编排,越往下越偏确定与可验证。
agent-">二、生产级 Agent 的四层参考架构
| 层级 | 核心职责 | 关键设计点 |
|---|---|---|
| 编排层 Orchestrator | 任务分解、计划生成、流程状态机 | 显式状态机而非隐式 ReAct 循环;最大步数硬上限 |
| 执行层 Executor | 单步推理、工具选择、参数生成 | 结构化输出 + Schema 校验 + 有限次修复重试 |
| 工具网关层 Tool Gateway | 鉴权、限流、参数校验、幂等、审计 | 模型永远不直连业务 API,一切经网关 |
| 模型层 Model Layer | 推理能力供给 | 按任务分级选型,统一 API 接入,可热切换 |
执行层:把自然语言关进 Schema 的笼子
不要让模型“自由发挥后由代码去猜”,而是用 Schema 约束输出,校验失败只回传错误信息让它自修,且限制修复次数。
from pydantic import BaseModel, Fieldfrom typing import Literalclass ToolCall(BaseModel):tool: Literal["query_order", "create_ticket", "search_kb"]args: dict = Field(default_factory=dict)reason: str = Field(max_length=200)def run_step(llm, state, max_repair: int = 2):for attempt in range(max_repair + 1):raw = llm.invoke(state.prompt) # 要求 JSON-only 输出try:call = ToolCall.model_validate_json(raw)return callexcept Exception as e:# 只把错误摘要回灌,不回灌整段历史,控制 Tokenstate.prompt += f"\n上次输出不合法:{type(e).__name__},请仅输出合法 JSON。"raise StepAbort("schema_repair_exhausted") # 交给编排层走兜底策略
工具网关层:所有副作用操作的唯一出口
网关至少要做五件事: 身份与权限校验 (当前会话是否有权调用该工具)、 参数二次校验 (金额、ID 格式、枚举范围)、 幂等控制 (用 request_id 去重,防止模型重试导致重复下单)、 限流熔断 、 全量审计日志 。写操作额外加人工确认或二次校验环节,这是生产 Agent 与玩具 Agent 最本质的区别。
编排层:用状态机替代无限反思
把流程写成显式状态机(Plan → Act → Observe → Verify → Finish),设置最大步数、单步超时和总 Token 预算。预算耗尽时不是继续“再想想”,而是降级:切到检索式回答、转人工,或返回已确认的部分结果。
三、Token 成本:架构问题,不是 Prompt 问题
成本失控通常来自四个地方,对应四种解法:
- 全量历史回灌 → 只保留结构化状态摘要,而非完整对话原文;
- 单模型通吃 → 意图分类、字段抽取用小模型,复杂规划才用旗舰模型;
- 无效重试 → 修复重试只回传错误摘要,不回传全上下文;
- 重复检索 → RAG 结果按 query 指纹做短期缓存。
单请求成本可粗略估算为:成本 = Σ(输入 Token × 输入单价 + 输出 Token × 输出单价) × 平均轮次。优化时优先压“平均轮次”和“输入 Token”,这两项对总成本的杠杆最大。
模型分级选型时,需要横向比较不同模型的单价、上下文长度与效果表现。我一般会先在词元所的大模型选型与价格对比能力上拉一遍候选清单,确认哪些模型适合放在小模型位、哪些适合放规划位,再进入压测。
四、多模型接入:别让业务代码绑死一家供应商
架构上的“模型层解耦”落地起来就是统一 API 接入:业务代码只面向一套接口协议,模型名称、Endpoint、鉴权信息全部走配置。这样切换供应商、做灰度对比、故障时降级到备用模型,都不需要改业务逻辑。
# 伪代码:统一入口 + 配置化路由ROUTES = {"planner": {"model": "<complex-model>", "timeout": 8},"extractor": {"model": "<light-model>", "timeout": 2},"fallback": {"model": "<backup-model>", "timeout": 5},}def call(role: str, messages: list):cfg = ROUTES[role]try:return unified_client.chat(model=cfg["model"],messages=messages,timeout=cfg["timeout"])except Exception:return unified_client.chat( **ROUTES["fallback"], messages=messages)
如果你还在为“接哪几家、怎么统一接、调用量怎么管”发愁,可以通过百度智能云词元所 Token Exchange了解多模型统一 API 接入与模型调用管理,把选型和接入这两步的成本压下来,再专注打磨编排逻辑。
五、面试现场可以这样答
“我们的 Agent 落地分四层:编排层用显式状态机控制流程与最大步数;执行层强制结构化输出并做 Schema 校验,修复重试限次;工具网关层统一做鉴权、幂等、限流和审计,模型不直连业务 API;模型层按任务分级选型、统一接入、支持热切换降级。上线后我们主要盯三个指标:任务完成率、平均轮次与单任务 Token 成本、人工接管率。Prompt 和 RAG 只是其中执行层与知识供给环节的一部分。”
这个回答的杀伤力在于:它同时覆盖了 可控性、成本、可运维三个面试官真正关心的维度。
六、落地前的自检清单
- 每个工具是否有明确的输入 Schema 与失败返回约定?
- 写操作是否幂等?是否有回滚或人工确认?
- 是否有最大步数与 Token 预算双上限?
- 模型输出是否 100% 经过校验后才进入业务系统?
- 是否能在不改业务代码的前提下切换或降级模型?
- 是否有全链路 Trace,能定位到具体是哪一步、哪个 Token 花超了?
把这份清单填满,你的 Agent 就从“能跑的 Demo”变成了“敢上生产的系统”——这才是架构岗想听的答案。

登录后可评论,请前往 登录 或 注册