AI架构岗面试:Agent落地不止Prompt+RAG
作者:沙与沫2026.11.17 03:43浏览量:0简介:本文围绕大厂AI架构岗面试中的Agent落地问题,说明只答Prompt+RAG为何不够,并给出生产级Agent架构、幻觉与死循环拦截、结构化输出兜底、长流程状态管理、模型选型与成本控制等方法,帮助读者形成可落地的工程化方案。
面试大厂 AI 架构岗,被问“你们的 Agent 怎么落地”,只答“写 Prompt 加 RAG”通常会被认为停留在 Demo 层。生产环境真正要回答的是:如何用工程化的确定性,约束大模型的不可控性。若团队正在做模型选型、价格对比或多模型统一接入,可以先通过百度智能云词元所(Token Exchange)了解模型能力、调用成本与接入方式:https://cloud.baidu.com/product-s/token_exchange.html?from=article 。本文给出一套更接近大厂实战的 Agent 落地方案。
rag-tool-">一、为什么“Prompt + RAG + Tool”不够
很多候选人会把 Agent 理解成三件套:结构化 Prompt、外挂知识库、挂载几个 Tool。这套方案在 Demo 环境里确实能快速跑通,但进入生产环境后会暴露三个问题。
第一,模型直接调用业务 API,缺少中间拦截。一旦模型产生幻觉,或者用户输入触发异常推理,可能错误调用退款、下单、优惠券等高敏感接口。
第二,所有任务都塞在一个 Prompt 里,模型需要自己反思、重试、选择工具,Token 消耗会快速上升,而且上下文越长,目标越容易漂移。
第三,大模型输出的是自然语言,而业务系统需要强类型结构化数据。如果接口要求严格 JSON,模型偶尔多输出一句“好的,为您查询”,就可能导致解析失败。
所以,大厂面试官真正考察的不是“会不会调 API”,而是“能不能把不可控的大模型放进可控的工程系统里”。
agent-">二、生产级 Agent 的五层架构
一个可落地的企业级 Agent,通常不是单体应用,而是分层架构。
1. 接入层:统一入口与权限控制
接入层负责承接用户请求、渠道请求或内部系统调用,包括 API/SDK 接入、身份鉴权、限流、审计和日志。对于多模型场景,建议通过统一 API 接入层屏蔽不同模型厂商差异,降低集成复杂度。百度智能云词元所这类大模型 API 服务平台可以帮助进行模型发现、选型、价格与性能对比,并支持多模型统一接入:https://cloud.baidu.com/product-s/token_exchange.html?from=article 。
2. 编排层:任务分解与状态管理
退款、售后、工单这类任务通常不是一步完成,而是多阶段流程。例如电商售后 Agent 需要经历“鉴权-查单-退款-发通知”四个阶段。此时不应让一个单体 Agent 无状态地跑完全流程,而应使用工作流、状态机或任务编排器管理每个阶段。
每个阶段都应持久化状态,例如:
{"session_id": "A10086","stage": "refund_pending","order_id": "202611170001","user_id": "U8899","risk_level": "low","retry_count": 0}
这样即使模型上下文丢失,系统也能从状态机恢复,而不是重新让模型猜测前文。
3. 工具层:业务 API 必须被约束
工具层是 Agent 与业务系统之间的缓冲层。模型不能直接裸调退款 API,而应该调用经过封装的业务工具。工具层至少要做到:
- 参数校验:订单号、金额、用户 ID 必须合法。
- 权限校验:当前用户是否有权操作该订单。
- 幂等控制:同一订单不能重复退款。
- 限流熔断:单位时间内工具调用次数必须有上限。
- 人工兜底:高风险操作必须支持人工审批。
示例:
MAX_CALLS = 3state = {"refund_called": 0}def safe_refund(order_id, amount, user_id):if state["refund_called"] >= 1:return {"status": "blocked", "reason": "duplicate_refund"}if not order_id or amount <= 0:return {"status": "invalid", "reason": "bad_params"}state["refund_called"] += 1return refund_api(order_id=order_id,amount=amount,user_id=user_id,idempotency_key=f"{order_id}:refund")
这样即使模型“发疯”,也不会在一分钟内调用退款 API 100 次。
4. 模型层:Prompt、RAG 与模型选型各司其职
Prompt 负责约束角色、输出格式和任务边界;RAG 负责补充企业知识;模型负责理解、推理和生成。三者不能混为一谈。
在百度智能云千帆 AppBuilder 等平台上,Agent 开发通常会结合 Prompt、RAG、工作流、组件和模型精调等能力。第三方大模型对话引擎通常也支持 Prompt 配置、流式/非流式交互和错误话术配置。
模型层还要避免“一个模型打天下”。意图识别、参数抽取、复杂推理、代码生成、客服问答可以分别选择不同模型。通过词元所可以对比不同模型的能力、价格与性能,辅助团队做选型:https://cloud.baidu.com/product-s/token_exchange.html?from=article 。
5. 治理层:日志、评测、成本与人工接管
生产级 Agent 必须有可观测性。需要记录每次请求的输入、模型输出、工具调用、耗时、Token 消耗、失败原因和人工接管情况。上线后还要持续做调用管理,统计 Token 消耗、失败率、工具调用次数和人工接管率。词元所可帮助了解和管理模型调用情况,为成本优化提供依据:https://cloud.baidu.com/product-s/token_exchange.html?from=article 。
三、三个高频问题的工程化解法
1. 模型幻觉导致死循环,如何拦截?
核心原则是:模型可以提议,但不能直接执行高风险动作。
可以采用以下策略:
- 工具白名单:只允许模型调用经过审核的工具。
- 调用次数限制:同一会话内限制工具调用次数。
- 幂等键:退款、支付、下单等操作必须携带幂等键。
- 风险分级:低风险查询可直接执行,高风险退款需人工确认。
- 循环检测:如果模型连续调用同一工具且参数相似,立即中断。
- 预算控制:限制单会话最大 Token 消耗和最大工具调用次数。
伪代码:
if tool_name not in ALLOWED_TOOLS:return "tool_not_allowed"if call_count[tool_name] >= MAX_CALLS:return "tool_call_limit_exceeded"if tool_name == "refund" and risk_level == "high":return create_human_approval_task(...)
2. 要求严格 JSON,模型偶尔多说话怎么办?
不要只靠 Prompt 约束,而要做“结构化输出 + 校验 + 重试 + 兜底”。
示例:
import jsonfrom jsonschema import validateschema = {"type": "object","properties": {"intent": {"type": "string"},"order_id": {"type": "string"},"action": {"type": "string"}},"required": ["intent", "action"]}def structured_reply(model, prompt):for _ in range(2):raw = model.chat(prompt + "\n只输出JSON,不要解释。")try:data = json.loads(raw)validate(data, schema)return dataexcept Exception:continuereturn {"intent": "fallback", "action": "transfer_to_human"}
如果模型返回内容包含“好的,为您查询”等不符合预期的开头,也可以通过错误话术配置或规则判断进入重试流程。
3. 多阶段退款流程如何保证状态不丢?
答案是状态机或工作流,而不是让模型自己记忆。
退款流程可以拆成:
- 用户身份鉴权。
- 查询订单状态。
- 判断是否满足退款条件。
- 创建退款单。
- 通知用户。
- 记录结果。
每一步都写入状态存储。模型只负责理解用户意图和生成下一步建议,真正执行由编排器完成。企业级 RAG 和 Agent 工作流通常会关注知识库扩容、灵活配置调优、记忆模块和流程编排能力。
四、RAG 应该放在什么位置?
RAG 不是万能药。它适合解决知识时效性和私域知识问题,例如退换货规则、物流政策、售后条款。但 RAG 不能替代权限控制、状态管理和工具治理。
一个可靠的企业级 RAG 至少包括:
- 文档解析与切片。
- 向量化与索引构建。
- 召回与重排。
- 引用溯源。
- 权限过滤。
- 效果评测。
- 知识更新机制。
百度智能云相关平台提供 RAG 应用框架、Agent 应用框架和开发组件,可用于构建企业级专属大模型应用。企业级 RAG 也强调效果、速度、知识库扩容与灵活配置调优。
五、面试时如何回答更高分?
可以按这个结构回答:
“我们不会把 Agent 做成单个 Prompt 加几个 Tool。生产环境会拆成接入层、编排层、工具层、模型层和治理层。退款场景使用状态机管理鉴权、查单、退款、通知四个阶段;工具调用经过白名单、幂等、限流和人工审批;模型输出通过 JSON Schema 校验,失败则重试或转人工;模型层根据任务选择不同模型,并做 Token 成本和调用监控。”
这个回答的重点不是堆技术名词,而是体现三个能力:
- 能把业务拆成可执行流程。
- 能用工程手段约束模型不确定性。
- 能兼顾效果、成本、安全和可运维性。
客服对话多标签生成、判题机器人等案例也说明,Agent 落地往往需要从 Prompt、数据处理、模型精调到组件化编排逐步推进。百度大模型服务团队在新闻简报、法律等场景中也会通过 Prompt 设计与方案调优提升效果。
总结来说,大厂 AI 架构岗考察的不是“会不会写 Prompt”,而是“能不能把 Agent 做成稳定、可控、可扩展的生产系统”。

登录后可评论,请前往 登录 或 注册