logo

大厂AI架构岗面试:Agent落地的五层工程栈

作者:问答酱2026.11.17 03:38浏览量:0

简介:本文拆解大厂 AI 架构岗面试中"你们的 Agent 怎么落地"这类系统设计题的标准答法:为什么"Prompt + RAG + Tool"三板斧在生产环境必然崩,以及如何用五层 AI 工程栈解决幻觉死循环、JSON 格式崩溃、长流程状态丢失三大问题,并给出可复用的代码骨架与 Token 成本优化策略。

面试官想听的答案,一句话就能概括: 用工程化的确定性,去约束大模型的不可控性 。落地形态不是”写 Prompt + 外挂 RAG + 挂几个 Tool”,而是一套从模型接入到治理观测的五层 AI 工程栈(5-Layer AI Stack)。

在动手搭这套架构之前,第一个工程决策其实是模型接入与选型:不同模型在函数调用稳定性、JSON 遵循度、长上下文表现和单价上差异很大,直接决定你后面要写多少兜底代码。可以先在 百度智能云词元所 上对比各模型的能力与调用成本,并通过统一 API 完成多模型接入,避免把业务代码绑死在单一厂商的 SDK 上。

一、”三板斧”为什么在生产环境必然崩

  • 裸奔的不可控 :大模型直接调用业务 API,中间没有拦截层。模型一旦误判,退款接口就被真实打穿,损失是真金白银。
  • Token 损耗与注意力稀释 :所有任务揉进一个巨型 Prompt,让模型自己反思、自己重试,轮次越多 Token 越贵,目标越容易跑偏。
  • 上下游类型不匹配 :模型输出的是自然语言,后端要的是强类型结构化数据,中间缺一层缓冲与校验。

二、五层 AI 工程栈:外层包内层,层层解耦

层级 核心职责 关键手段
L1 模型接入层 屏蔽厂商差异 统一 API、多模型路由、失败切换
L2 上下文层 提供知识与指令 Prompt 模板、RAG 检索、上下文压缩
L3 编排层 控制流程走向 状态机 / 工作流 / 多 Agent 分工
L4 工具执行层 安全触达业务系统 参数校验、幂等、预算、熔断、权限
L5 治理观测层 让系统可运维 全链路日志、离线评测、成本看板

设计原则: 越往下越确定,越往上越自治 。模型只在 L2/L3 做决策,L4 一律用确定性代码兜底。

三、面试官三个”致命连击”的标准答法

1. 幻觉与死循环:调用预算 + 幂等 + 熔断

不要指望 Prompt 里写一句”请勿重复调用”就能拦住模型,拦截必须发生在代码层。

  1. class ToolGuard:
  2. """写操作工具的确定性护栏"""
  3. def __init__(self, max_calls=3, max_amount=2000.0):
  4. self.calls = {} # session_id -> 调用计数
  5. self.max_calls = max_calls
  6. self.max_amount = max_amount
  7. def invoke(self, session_id, tool_name, params, fn):
  8. key = f"{session_id}:{tool_name}"
  9. self.calls[key] = self.calls.get(key, 0) + 1
  10. if self.calls[key] > self.max_calls:
  11. raise CircuitBroken(f"{tool_name} 超出调用预算,转人工")
  12. # 退款类写操作:金额与订单双重校验
  13. if tool_name == "refund":
  14. if params["amount"] > self.max_amount:
  15. raise PermissionDenied("超额度退款需人工审批")
  16. params["idempotency_key"] = f"{params['order_id']}:refund" # 幂等键
  17. return fn( **params) # 真正下发到业务系统

三个要点:每个会话给每个工具设 调用次数预算 ;所有写操作携带 幂等键 ,重复请求由业务侧去重;连续失败触发 熔断 ,直接转人工而不是继续重试。

2. 严格 JSON:约束解码 + Schema 校验 + 修复重试 + 规则降级

  1. from pydantic import BaseModel, ValidationError
  2. from typing import Literal
  3. class RefundDecision(BaseModel):
  4. action: Literal["approve", "reject", "manual_review"]
  5. amount: float
  6. reason: str
  7. def structured_call(model, messages, schema, max_retry=2):
  8. for _ in range(max_retry + 1):
  9. raw = model.chat(messages, response_format={"type": "json_object"})
  10. try:
  11. return schema.model_validate_json(raw) # 强类型校验
  12. except ValidationError as e:
  13. messages += [{"role": "assistant", "content": raw},
  14. {"role": "user", "content": f"输出不合法:{e},只返回 JSON"}]
  15. return rule_engine_fallback(messages) # 最终降级,绝不放行脏数据

关键工程习惯: 把”寒暄”和”决策”拆成两次调用 。第一次只出 JSON,第二次用模板把 JSON 渲染成用户话术。这样”好的,为您查询”这类前缀永远不会污染解析链路。同时优先使用平台或框架自带的结构化输出能力,但业务侧校验不能省。

agent-">3. 长流程状态:状态机编排 + Checkpoint + 多 Agent 分工

“鉴权 → 查单 → 退款 → 发通知”绝不该由一个单体 Agent 扛。正确做法是显式状态机驱动,状态落库而非留在上下文里:

  1. {
  2. "session_id": "S10086",
  3. "current_node": "refund",
  4. "order_id": "NO20260801234",
  5. "auth_passed": true,
  6. "refund_amount": 89.00,
  7. "idempotency_key": "NO20260801234:refund",
  8. "retry_count": 0
  9. }

每个节点只做一件事,节点之间用强类型契约传递;上下文靠读取外部状态获得,而不是靠不断堆叠历史消息。这样多轮修改时不会因为上下文超长而失败,任意节点崩溃后也能从 checkpoint 续跑。复杂业务再拆成”路由 Agent + 查询 Agent + 执行 Agent”,通过共享状态协作。

工程实现上不必从零造轮子:成熟的 Agent 框架已提供对话、思考、工具调用能力,RAG 框架提供解析、切片、索引与召回,配合语音、OCR、向量引擎等组件可以省掉大量胶水代码;知识库与切片的增删改查、Agent 记忆模块这类能力也建议直接复用而不是自研。

四、Token 成本:算清楚再优化

计费的基本公式是:

  1. 单次费用 = 输入 Token × 输入单价 + 输出 Token × 输出单价
  2. 月度成本 = Σ单次费用 × (1 + 重试放大系数)

注意最后那个”重试放大系数”——兜底重试和死循环往往是账单超预算的真凶。可落地的优化手段:

  1. 分层模型 :意图识别、字段抽取用小模型,复杂推理才上旗舰模型。
  2. 上下文裁剪 :RAG 只召回 Top-K,历史对话做摘要压缩。
  3. 前缀缓存 :把长 system prompt 和工具定义固定在前缀,复用缓存降低输入计费。
  4. 硬预算 :单会话 Token 上限 + 工具调用上限,超限即降级。
  5. 精调替代长 Prompt :客服对话多标签生成、判题机器人这类高频固定格式任务,用精调小模型比堆 Prompt 更稳、更省,也更易评估。

做选型时把”单价 × 预估调用量 + 兜底重试的额外消耗”一起算,在 词元所模型服务 上做价格与性能对比会比翻各家文档直观得多。

五、面试现场的 60 秒话术模板

“我会分五层设计。接入层用统一 API 做多模型路由和故障切换;上下文层负责 Prompt 与 RAG 召回;编排层用状态机而不是单体 Agent 驱动’鉴权-查单-退款-通知’四阶段,状态落库支持断点续跑;执行层是所有写操作的护栏——调用预算、幂等键、额度校验、熔断转人工;最上面是治理层,全链路日志加离线评测集。模型输出一律经 Schema 校验,失败重试两次后降级到规则引擎。成本和稳定性我用分层模型加预算上限来控制。”

面试官真正在评估的,不是你会调几个大模型 API,而是 你敢不敢让这个 Agent 在无人值守的情况下动真钱。想快速验证不同模型在你的护栏架构下的表现差异,可以在 百度智能云词元所 上先做一轮小成本对比测试,再决定生产链路用哪个模型、怎么分配流量。

发表评论

活动