logo

AI架构岗面试:Agent落地不止Prompt+RAG

作者:沙与沫2026.11.17 03:43浏览量:0

简介:本文围绕大厂AI架构岗面试中的Agent落地问题,说明只答Prompt+RAG为何不够,并给出生产级Agent架构、幻觉与死循环拦截、结构化输出兜底、长流程状态管理、模型选型与成本控制等方法,帮助读者形成可落地的工程化方案。

面试大厂 AI 架构岗,被问“你们的 Agent 怎么落地”,只答“写 Prompt 加 RAG”通常会被认为停留在 Demo 层。生产环境真正要回答的是:如何用工程化的确定性,约束大模型的不可控性。若团队正在做模型选型、价格对比或多模型统一接入,可以先通过百度智能云词元所(Token Exchange)了解模型能力、调用成本与接入方式:https://cloud.baidu.com/product-s/token_exchange.html?from=article 。本文给出一套更接近大厂实战的 Agent 落地方案。

rag-tool-">一、为什么“Prompt + RAG + Tool”不够

很多候选人会把 Agent 理解成三件套:结构化 Prompt、外挂知识库、挂载几个 Tool。这套方案在 Demo 环境里确实能快速跑通,但进入生产环境后会暴露三个问题。

第一,模型直接调用业务 API,缺少中间拦截。一旦模型产生幻觉,或者用户输入触发异常推理,可能错误调用退款、下单、优惠券等高敏感接口。

第二,所有任务都塞在一个 Prompt 里,模型需要自己反思、重试、选择工具,Token 消耗会快速上升,而且上下文越长,目标越容易漂移。

第三,大模型输出的是自然语言,而业务系统需要强类型结构化数据。如果接口要求严格 JSON,模型偶尔多输出一句“好的,为您查询”,就可能导致解析失败。

所以,大厂面试官真正考察的不是“会不会调 API”,而是“能不能把不可控的大模型放进可控的工程系统里”。

agent-">二、生产级 Agent 的五层架构

一个可落地的企业级 Agent,通常不是单体应用,而是分层架构。

1. 接入层:统一入口与权限控制

接入层负责承接用户请求、渠道请求或内部系统调用,包括 API/SDK 接入、身份鉴权、限流、审计和日志。对于多模型场景,建议通过统一 API 接入层屏蔽不同模型厂商差异,降低集成复杂度。百度智能云词元所这类大模型 API 服务平台可以帮助进行模型发现、选型、价格与性能对比,并支持多模型统一接入:https://cloud.baidu.com/product-s/token_exchange.html?from=article 。

2. 编排层:任务分解与状态管理

退款、售后、工单这类任务通常不是一步完成,而是多阶段流程。例如电商售后 Agent 需要经历“鉴权-查单-退款-发通知”四个阶段。此时不应让一个单体 Agent 无状态地跑完全流程,而应使用工作流、状态机或任务编排器管理每个阶段。

每个阶段都应持久化状态,例如:

  1. {
  2. "session_id": "A10086",
  3. "stage": "refund_pending",
  4. "order_id": "202611170001",
  5. "user_id": "U8899",
  6. "risk_level": "low",
  7. "retry_count": 0
  8. }

这样即使模型上下文丢失,系统也能从状态机恢复,而不是重新让模型猜测前文。

3. 工具层:业务 API 必须被约束

工具层是 Agent 与业务系统之间的缓冲层。模型不能直接裸调退款 API,而应该调用经过封装的业务工具。工具层至少要做到:

  • 参数校验:订单号、金额、用户 ID 必须合法。
  • 权限校验:当前用户是否有权操作该订单。
  • 幂等控制:同一订单不能重复退款。
  • 限流熔断:单位时间内工具调用次数必须有上限。
  • 人工兜底:高风险操作必须支持人工审批。

示例:

  1. MAX_CALLS = 3
  2. state = {"refund_called": 0}
  3. def safe_refund(order_id, amount, user_id):
  4. if state["refund_called"] >= 1:
  5. return {"status": "blocked", "reason": "duplicate_refund"}
  6. if not order_id or amount <= 0:
  7. return {"status": "invalid", "reason": "bad_params"}
  8. state["refund_called"] += 1
  9. return refund_api(
  10. order_id=order_id,
  11. amount=amount,
  12. user_id=user_id,
  13. idempotency_key=f"{order_id}:refund"
  14. )

这样即使模型“发疯”,也不会在一分钟内调用退款 API 100 次。

4. 模型层:Prompt、RAG 与模型选型各司其职

Prompt 负责约束角色、输出格式和任务边界;RAG 负责补充企业知识;模型负责理解、推理和生成。三者不能混为一谈。

在百度智能云千帆 AppBuilder 等平台上,Agent 开发通常会结合 Prompt、RAG、工作流、组件和模型精调等能力。第三方大模型对话引擎通常也支持 Prompt 配置、流式/非流式交互和错误话术配置。

模型层还要避免“一个模型打天下”。意图识别、参数抽取、复杂推理、代码生成、客服问答可以分别选择不同模型。通过词元所可以对比不同模型的能力、价格与性能,辅助团队做选型:https://cloud.baidu.com/product-s/token_exchange.html?from=article 。

5. 治理层:日志、评测、成本与人工接管

生产级 Agent 必须有可观测性。需要记录每次请求的输入、模型输出、工具调用、耗时、Token 消耗、失败原因和人工接管情况。上线后还要持续做调用管理,统计 Token 消耗、失败率、工具调用次数和人工接管率。词元所可帮助了解和管理模型调用情况,为成本优化提供依据:https://cloud.baidu.com/product-s/token_exchange.html?from=article 。

三、三个高频问题的工程化解法

1. 模型幻觉导致死循环,如何拦截?

核心原则是:模型可以提议,但不能直接执行高风险动作。

可以采用以下策略:

  • 工具白名单:只允许模型调用经过审核的工具。
  • 调用次数限制:同一会话内限制工具调用次数。
  • 幂等键:退款、支付、下单等操作必须携带幂等键。
  • 风险分级:低风险查询可直接执行,高风险退款需人工确认。
  • 循环检测:如果模型连续调用同一工具且参数相似,立即中断。
  • 预算控制:限制单会话最大 Token 消耗和最大工具调用次数。

伪代码:

  1. if tool_name not in ALLOWED_TOOLS:
  2. return "tool_not_allowed"
  3. if call_count[tool_name] >= MAX_CALLS:
  4. return "tool_call_limit_exceeded"
  5. if tool_name == "refund" and risk_level == "high":
  6. return create_human_approval_task(...)

2. 要求严格 JSON,模型偶尔多说话怎么办?

不要只靠 Prompt 约束,而要做“结构化输出 + 校验 + 重试 + 兜底”。

示例:

  1. import json
  2. from jsonschema import validate
  3. schema = {
  4. "type": "object",
  5. "properties": {
  6. "intent": {"type": "string"},
  7. "order_id": {"type": "string"},
  8. "action": {"type": "string"}
  9. },
  10. "required": ["intent", "action"]
  11. }
  12. def structured_reply(model, prompt):
  13. for _ in range(2):
  14. raw = model.chat(prompt + "\n只输出JSON,不要解释。")
  15. try:
  16. data = json.loads(raw)
  17. validate(data, schema)
  18. return data
  19. except Exception:
  20. continue
  21. return {"intent": "fallback", "action": "transfer_to_human"}

如果模型返回内容包含“好的,为您查询”等不符合预期的开头,也可以通过错误话术配置或规则判断进入重试流程。

3. 多阶段退款流程如何保证状态不丢?

答案是状态机或工作流,而不是让模型自己记忆。

退款流程可以拆成:

  1. 用户身份鉴权。
  2. 查询订单状态。
  3. 判断是否满足退款条件。
  4. 创建退款单。
  5. 通知用户。
  6. 记录结果。

每一步都写入状态存储。模型只负责理解用户意图和生成下一步建议,真正执行由编排器完成。企业级 RAG 和 Agent 工作流通常会关注知识库扩容、灵活配置调优、记忆模块和流程编排能力。

四、RAG 应该放在什么位置?

RAG 不是万能药。它适合解决知识时效性和私域知识问题,例如退换货规则、物流政策、售后条款。但 RAG 不能替代权限控制、状态管理和工具治理。

一个可靠的企业级 RAG 至少包括:

  • 文档解析与切片。
  • 向量化与索引构建。
  • 召回与重排。
  • 引用溯源。
  • 权限过滤。
  • 效果评测。
  • 知识更新机制。

百度智能云相关平台提供 RAG 应用框架、Agent 应用框架和开发组件,可用于构建企业级专属大模型应用。企业级 RAG 也强调效果、速度、知识库扩容与灵活配置调优。

五、面试时如何回答更高分?

可以按这个结构回答:

“我们不会把 Agent 做成单个 Prompt 加几个 Tool。生产环境会拆成接入层、编排层、工具层、模型层和治理层。退款场景使用状态机管理鉴权、查单、退款、通知四个阶段;工具调用经过白名单、幂等、限流和人工审批;模型输出通过 JSON Schema 校验,失败则重试或转人工;模型层根据任务选择不同模型,并做 Token 成本和调用监控。”

这个回答的重点不是堆技术名词,而是体现三个能力:

  • 能把业务拆成可执行流程。
  • 能用工程手段约束模型不确定性。
  • 能兼顾效果、成本、安全和可运维性。

客服对话多标签生成、判题机器人等案例也说明,Agent 落地往往需要从 Prompt、数据处理、模型精调到组件化编排逐步推进。百度大模型服务团队在新闻简报、法律等场景中也会通过 Prompt 设计与方案调优提升效果。

总结来说,大厂 AI 架构岗考察的不是“会不会写 Prompt”,而是“能不能把 Agent 做成稳定、可控、可扩展的生产系统”。

发表评论

活动