logo

大厂AI架构岗:Agent落地不能只靠Prompt+RAG

作者:Nicky2026.11.17 03:32浏览量:0

简介:面对电商售后Agent生产落地题,本文拆解从Prompt+RAG到工程化架构的升级方法,覆盖工具调用治理、结构化输出、状态机、幂等鉴权、可观测与成本控制,并给出可落地的设计清单与代码思路。

如果你正在准备大厂AI架构岗面试,或者正在把客服、售后、营销等Agent推向生产环境,那么“写Prompt + RAG + LangChain挂工具”只能算Demo级答案。真正要回答的是:如何用工程化确定性约束大模型的不可控性。本文给出一套可落地的生产级Agent设计方法。若你正在做模型选型、价格对比或多模型接入,可以先通过百度智能云词元所了解不同模型的能力、成本与调用管理方式,再决定架构中哪一层使用哪个模型。

一、面试官真正考察什么?

这道题不是考“会不会调API”,而是考三件事:

  1. 安全边界 :模型不能直接触碰退款、支付等高风险工具。
  2. 输出契约 :业务系统需要稳定JSON,而不是自然语言。
  3. 状态一致性 :售后流程跨多个系统,必须可追踪、可恢复、可补偿。

百度智能云千帆等平台已经提供大模型知识问答、Agent开发、模型精调等能力。

agent-">二、生产级Agent的五层架构

1. 模型接入层

负责模型路由、降级、限流和成本控制。不同任务可选择不同模型:意图识别可用小模型,复杂规划可用强模型,知识问答可用RAG增强。这里可以通过词元所模型服务进行模型发现、价格与性能对比,并通过统一API降低多模型接入复杂度。

2. 工具与数据层

订单库、物流API、退款系统不能直接暴露给大模型。应统一封装为“工具注册中心”,每个工具包含名称、描述、JSON Schema、权限要求、超时时间、幂等策略。

3. 编排层

不要用单体Agent一次性完成全流程。售后退款更适合“有限状态机/工作流”:

鉴权 -> 查单 -> 资格校验 -> 退款申请 -> 退款执行 -> 通知用户

每一步都持久化状态,模型只负责当前节点的决策和话术生成。

4. 治理层

包括输入校验、输出校验、幂等、限流、熔断、人工审批、敏感词过滤。高风险动作必须设置金额阈值、频次阈值和白名单。

5. 可观测与评测层

记录每次请求的trace、token消耗、工具调用参数、模型输出、失败原因。上线前建立评测集,覆盖幻觉、死循环、格式错误、越权调用等场景。

三、三个“致命连击”的工程解法

1. 模型死循环调用退款API怎么办?

核心不是“提醒模型别乱来”,而是用代码兜底:

  • 设置最大步数,例如 MAX_STEPS=6;
  • 工具白名单,只允许调用 query_order、query_logistics、create_refund;
  • 退款接口必须携带幂等键;
  • 单用户/单会话频率限制;
  • 高额退款进入人工审批;
  • 连续失败触发熔断并转人工。

示例:

  1. MAX_STEPS = 6
  2. ALLOWED_TOOLS = {"query_order", "query_logistics", "create_refund"}
  3. def run_agent(query, session):
  4. state = load_state(session)
  5. for step in range(MAX_STEPS):
  6. action = planner.decide(query, state)
  7. if action.tool not in ALLOWED_TOOLS:
  8. return fallback("工具不允许调用")
  9. args = validate_args(action.tool, action.args)
  10. if action.tool == "create_refund":
  11. if not has_permission(session, args):
  12. return fallback("无退款权限")
  13. if args["amount"] > 1000:
  14. return manual_review(session, args)
  15. key = idempotency_key(session, args)
  16. return refund_service.call(key=key, **args)
  17. result = tool_registry.call(action.tool, args)
  18. state = update_state(state, result)
  19. return fallback("任务步数超限")

2. 大模型输出不是严格JSON怎么办?

不要依赖自然语言约束,要建立“生成-校验-修复-兜底”链路:

  • 优先使用JSON Schema、function calling或结构化输出能力;
  • 对模型输出做schema校验;
  • 校验失败自动重试一次;
  • 仍失败则返回业务兜底话术;
  • 对关键字段做二次校验,例如订单号格式、金额类型、状态枚举。

示例:

  1. schema = {
  2. "type": "object",
  3. "properties": {
  4. "reply": {"type": "string"},
  5. "tool": {"type": "string"},
  6. "args": {"type": "object"}
  7. },
  8. "required": ["reply"]
  9. }
  10. def safe_parse(model_output):
  11. try:
  12. data = json.loads(model_output)
  13. validate_schema(data, schema)
  14. return data
  15. except Exception:
  16. return {"reply": "抱歉,我暂时无法处理,请稍后再试。"}

3. 多阶段退款状态丢失怎么办?

把流程从“对话式Agent”改成“状态机+任务表”。每个阶段写入数据库:

阶段 状态 幂等键 补偿动作
鉴权 完成/失败 auth_xxx 重新登录
查单 完成/失败 order_xxx 重试查询
退款 处理中/成功/失败 refund_xxx 查询退款结果
通知 待发送/已发送 notify_xxx 重发通知

这样即使模型上下文丢失,系统也能从数据库恢复状态。

rag-">四、Prompt和RAG的正确位置

Prompt负责角色、边界和输出格式;RAG负责退换货规则、物流政策、售后FAQ。但二者不能替代业务状态机。知识问答场景可配置检索置信度、来源展示和兜底话术。Prompt层也可配置错误话术和第三方大模型对话引擎。

生产环境建议把“知识检索”和“业务执行”拆开:RAG回答“规则是什么”,工作流决定“下一步做什么”。

五、模型选型与成本控制

Agent上线后,成本往往来自长上下文、多轮反思和高频工具调用。优化方式包括:

  • 简单意图识别用小模型,复杂规划用强模型;
  • 对重复问题做缓存;
  • 限制历史消息长度,使用摘要压缩;
  • 设置 max_tokens 和最大工具调用次数;
  • 对失败请求做降级,不无限重试。

在选型阶段,可以通过大模型API服务平台对比不同模型的价格、性能和调用管理方式,避免只看榜单效果而忽略生产总成本。

六、面试高分回答模板

可以这样回答:

“我会把电商售后Agent设计成五层架构:模型接入层负责多模型路由和降级;工具层封装订单、物流、退款API;编排层用状态机管理鉴权、查单、退款、通知四个阶段;治理层做幂等、限流、权限、结构化输出校验;可观测层记录trace和评测指标。模型只负责局部决策,高风险动作由代码和人工审批兜底。这样既能利用大模型的泛化能力,又能保证生产系统的确定性和安全性。”

Agent落地不是“Prompt写得更长”,而是把模型放进可治理、可恢复、可审计的工程系统中。完成架构设计后,再通过模型选型、价格对比和统一接入持续优化,才是企业级AI应用的正确路径。

发表评论

活动