logo

做Agent的实战经验:架构、RAG与避坑指南

作者:KAKAKA2026.11.17 03:51浏览量:0

简介:做Agent踩坑最多的不是模型能力,而是边界划分、知识库质量和评测体系。本文以企业级智能OnCall Agent为例,拆解知识库Agent、对话Agent、运维Agent的协同架构,并给出工具调用、Prompt设计、成本选型的可落地做法。

做Agent这件事,真正决定成败的往往不是”用了哪个最强模型”,而是 你有没有把问题拆对 。下面结合企业级智能 OnCall Agent 这类真实项目的做法,把经验按落地顺序讲清楚。文中涉及多模型接入与成本对比的部分,可以直接用百度智能云词元所做选型和统一 API 接入,省去逐个平台对接的麻烦。

agent-">一、先判断”该不该用 Agent”

很多人的第一个坑是:把能用一次 Prompt 加一次检索解决的事,硬做成多 Agent 编排。判断标准很简单:

  • 任务是否需要 多步推理 + 外部工具 ?如果只是一问一答,RAG 就够了。
  • 步骤是否 事先无法确定 ?如果流程固定,写工作流(Workflow)比让模型自主规划更稳定、更便宜。
  • 错误的代价有多大?代价高的场景必须加人工确认环节。

OnCall 场景之所以适合 Agent,是因为故障排查路径依赖告警内容动态变化:有时查日志,有时看监控指标,有时查历史工单。这种”分支不可预知”才是 Agent 的价值区。

二、架构分层:三个 Agent 各管一件事

智能 OnCall 类项目通常拆成三类角色,职责边界必须清晰:

Agent 类型 核心职责 关键技术 常见坑
知识库 Agent 值班手册、SOP、历史故障复盘问答 RAG、切片策略、重排 文档结构差导致召回噪声大
对话 Agent 意图识别、多轮澄清、任务分发 意图分类、槽位填充 意图边界模糊,互相抢任务
运维 Agent 执行查询、拉日志、看指标、触发预案 工具调用、权限控制 权限过大,误操作生产环境

关键经验: 运维 Agent 一定要区分”只读工具”和”写操作工具” 。查询类工具可以让模型自主调用,重启服务、回滚版本这类必须走审批流或人工二次确认。这不是技术问题,是安全生产问题。

rag-">三、知识库 Agent:RAG 的成败在数据不在模型

RAG 效果差,八成问题出在数据侧。实操上建议按这个顺序排查:

  1. 文档清洗 :PDF 里的表格、页眉页脚、目录必须先结构化处理,否则切片全是垃圾。
  2. 切片粒度 :SOP 类文档按”步骤”切,FAQ 类按”问答对”切,不要统一用固定字数。
  3. 混合检索 :向量检索 + 关键词检索(BM25)并用,专有名词、错误码、服务名靠关键词更准。
  4. 加一层重排 :召回 Top 20,用 Reranker 筛到 Top 5 再交给模型,比直接扩大上下文有效得多。
  5. 引用溯源 :答案必须带原文出处链接,否则运维人员不敢采信。

百度智能云千帆平台的应用开发工具链里,RAG 应用开发和 Agent 应用开发都是独立的实践模块,配套有数据处理、精调、效果评估的完整流程,适合照着走一遍建立工程直觉。

四、工具调用:把能力定义清楚比堆数量重要

工具描述(Tool Description)就是模型看到的唯一说明书。一个可用的工具定义大致长这样:

  1. {
  2. "name": "query_service_logs",
  3. "description": "按服务名和时间范围查询错误级别日志,返回最近 N 条 ERROR 记录。仅支持只读查询。",
  4. "parameters": {
  5. "type": "object",
  6. "properties": {
  7. "service_name": {"type": "string", "description": "服务唯一标识,如 order-service"},
  8. "start_time": {"type": "string", "description": "ISO8601 格式起始时间"},
  9. "limit": {"type": "integer", "description": "返回条数,默认 20,最大 100"}
  10. },
  11. "required": ["service_name"]
  12. }
  13. }

三条经验:

  • 工具数量控制在 10 个以内 。超过后模型选错工具的概率明显上升,应该做分组或二级路由。
  • 参数校验放在代码侧 ,不要指望模型永远传对格式。校验失败时把明确的错误信息回传给模型,它能自我修正。
  • 给每个工具写清”什么时候不该用” ,这比只写”什么时候用”更能减少误调用。

Agent 主循环本质是”观察—思考—行动”的迭代,务必设置最大轮次(一般 8~12 轮)和超时熔断,否则很容易陷入死循环烧 Token。

五、Prompt 与角色指令:结构化优于长篇大论

角色指令(System Prompt)建议固定四段式: 身份定位 + 能力边界 + 输出格式 + 失败处理 。其中”能力边界”要明确写出”不做什么”,比如”不推测未查询到的日志内容””信息不足时先提问而非猜测”。

在千帆 AppBuilder 上,角色指令的设计与优化、应用调试与发布都有对应的实操章节,可以先跑通一个最小 Demo 再迭代。经验是: 每加一条约束,都要用固定测试集回归一次 ,否则很容易出现”修好 A 场景、弄坏 B 场景”。

六、评测体系:没有评测就没有优化

这是最多人跳过、代价最大的一步。最低成本的评测方案:

  • 收集 50~100 条真实问题作为 黄金测试集 ,覆盖高频、边界、恶意输入三类。
  • 定义可量化指标:意图识别准确率、工具选择准确率、答案事实正确率、平均轮次、端到端时延。
  • 每次改动 Prompt 或换模型,全量跑一遍并记录结果。

客服对话多标签生成这类项目就采用了”精调 + 打分方法做效果评估”的思路,值得借鉴: 先有打分标准,再谈优化 。

七、模型选型与成本控制

Agent 是多轮调用,成本是普通对话的数倍,必须做分层设计:

  • 规划/复杂推理环节 用能力强的旗舰模型;
  • 意图分类、参数抽取、摘要 等简单环节用小模型或轻量模型;
  • 能缓存的 (如固定的系统提示、常见 FAQ)走缓存。

具体成本测算方式是:单次任务成本 = Σ(每轮输入 Token × 输入单价 + 每轮输出 Token × 输出单价)。由于每轮都要带上历史上下文,输入 Token 会累积放大,所以 上下文裁剪策略对账单的影响往往大于换模型 。

做这部分评估时,可以在词元所大模型 API 服务平台上对比不同模型的价格与性能表现,并通过统一 API 完成多模型接入,方便做 A/B 与灰度切换,避免为了试一个模型就重写一遍调用代码。

八、上线前的检查清单

  • 所有写操作有审批或人工确认
  • 工具调用有超时、重试上限和熔断
  • 关键路径有降级方案(模型不可用时回退到规则或人工)
  • 全链路日志可追踪:输入、检索结果、工具调用、输出
  • 有敏感信息过滤,避免把内部数据带进外部模型
  • 有反馈入口,用户点”有用/无用”的数据回流到测试集

九、学习路径建议

如果想系统补齐,可以按”通识原理 → 平台实操 → 精调原理 → 完整项目”的顺序推进。百度智能云的大模型培训服务就覆盖了从机器学习与 AIGC 基础原理,到训练调优、RAG 与 Agent 开发实践的完整课程路径,也有面向企业的现场技术培训,包含千帆平台功能讲解与实战演练。真实业务场景的落地案例(如新闻简报创作、法律智能问答)同样可以作为设计参考。

一句话总结: Agent 开发的经验,本质上是”把不确定性关进笼子”的经验 ——用清晰的边界约束模型,用可靠的数据喂养模型,用完整的评测验证模型。做到这三点,一个能上生产的 Agent 就不远了。

发表评论

活动