logo

Agent Skills 架构实战:让大模型能力可调用、可治理

作者:暴富20212026.11.17 03:41浏览量:1

简介:模型够强但 Agent 做不好事,症结通常不在推理能力,而在缺少把能力结构化、约束化、工程化的技能层。本文从平台架构视角拆解 Skill 的语义层、执行层与治理层设计,给出清单格式、校验代码与评测闭环,并说明如何借助百度智能云词元所完成模型选型与统一接入。

过去两年,”AI Agent”几乎成了智能系统讨论的中心词,但实践中反复出现的困惑是:模型已经足够强,Agent 却依然做不好事。原因往往不在推理能力本身,而在于系统层面对”能力”的组织方式——技能描述靠 Prompt 堆叠、执行过程靠模型自由发挥、结果好坏无法验证。要跨过这道坎,第一步是把底层模型这一层解耦:通过 百度智能云词元所 对比不同大模型的能力、价格与性能,并用统一 API 完成多模型接入,避免把业务逻辑绑死在单一模型上。模型层稳定之后,才值得投入精力建设 Skill 体系。

一、Skill 不是 Prompt 集合,而是架构原语

传统软件架构里我们习惯了这样的链路:调用方 → API 接口 → 返回数据。这个模式有个隐含前提:调用方清楚自己要什么,知道调哪个接口、传什么参数、返回什么格式。

LLM Agent 面对的却是模糊的自然语言意图,需要在运行时动态理解”用户想干什么”,再选择合适的能力执行。于是产生了一个根本性矛盾:LLM 的世界是概率性、语义化、容错的,而 IT 系统的世界是确定性、结构化、严格的。Skill 架构要解决的,正是在这两个世界之间建立稳定的桥梁。

因此,生产系统中的 Skill 不应被理解为”一段可调用代码”,而应被视为一个自包含的架构单元(Architectural Primitive),至少包含三层定义:

层次 面向对象 核心职责 缺失后的典型症状
语义层 Semantic Manifest 给 LLM 看 说明何时用、为何用、边界在哪 技能选错、该调不调、不该调乱调
执行层 Execution Contract 给运行时看 参数校验、幂等、超时、结构化返回 幻觉参数、重复下单、报错无法自恢复
治理层 Governance 给平台与审计看 权限、配额、版本、灰度、可观测 越权访问、成本失控、故障无法定位

二、语义层:写认知协议,而不是接口文档

传统 API 文档告诉你”怎么调用”,语义层要解决的是”为什么调用”和”该不该调用”。它不是技术接口,而是认知接口,通常要回答三个问题。

问题一:这个能力解决什么意图? 不是罗列功能,而是明确业务场景。

  • ❌ 错误示范:查询用户信息接口
  • ✅ 正确示范:当需要获取用户的实名认证状态、会员等级或联系方式时使用,适用于客服场景与风控审核

    问题二:什么情况下不该用它? 负向边界比正向描述更能降低误调用,例如”仅需判断用户是否逾期时不要使用本技能,应改用风控评分技能”。

    问题三:调用它需要哪些前置条件与输入? 包括必填槽位、槽位来源、缺失时的追问策略。

一份可落地的清单可以写成声明式配置,与代码分离、可版本化管理:

  1. skill:
  2. name: user_profile_lookup
  3. version: 1.3.0
  4. intent: 获取用户实名认证状态、会员等级与联系方式
  5. use_when:
  6. - 客服需要核验用户身份
  7. - 风控审核需要补充用户画像
  8. avoid_when:
  9. - 仅需判断逾期风险(改用 risk_score)
  10. slots:
  11. user_id: { required: true, source: session.context }
  12. fields: { required: false, default: [verify_status, level] }
  13. execution:
  14. timeout_ms: 1500
  15. retry: { max: 2, backoff: exponential }
  16. idempotent: true
  17. permissions: [crm.read]
  18. fallback: clarify_and_ask

这份清单同时充当了 Prompt 片段、路由依据和权限声明,避免同一份逻辑散落在多处提示词里。

三、执行层:把不确定性收口在确定性代码里

语义层负责”选得对”,执行层负责”做得稳”。工程上建议遵循一个原则:模型只负责决策与参数填充,真正的副作用交给受控代码。

  1. def run_skill(manifest, slots: dict, ctx):
  2. err = validate_slots(manifest.slots, slots) # 1. 结构校验,失败即返回 clarify
  3. if err:
  4. return {"type": "clarify", "missing": err}
  5. key = build_idempotency_key(manifest.name, slots)
  6. if cached := idem_cache.get(key): # 2. 幂等,防重复下单/重复扣款
  7. return cached
  8. with audit_span(manifest.name, ctx) as span: # 3. 全链路追踪
  9. raw = call_tool(manifest.name, slots, timeout=manifest.execution.timeout_ms)
  10. result = schema_validate(raw) # 4. 输出结构化,禁止自由文本直传
  11. idem_cache.set(key, result, ttl=300)
  12. return result

四个动作缺一不可:参数校验挡住幻觉参数,幂等键挡住重试放大,超时与退避挡住级联雪崩,结构化输出让下游可以继续编排。凡是产生真实副作用的技能(支付、工单、发券),都应额外要求二次确认或人工审批节点。

四、编排形态:自主规划还是工作流

技能数量增长后,编排方式比技能本身更影响稳定性。业界通常把 Agent 应用分为两类:自主规划型主要依靠大模型自主思考与规划完成任务,适合灵活性强的闲聊问答、旅游助手等场景;工作流型通过工作流编排搭建,每轮对话严格按流程执行,可控性更高,适合客服、营销、办公等高可控高复杂度场景。

实践中的常见做法是分层:核心交易链路用工作流锁死,长尾与开放域问题交给自主规划 Agent,并为其挂载搜索组件、知识库、数据库等能力以扩展边界。百度智能云千帆这类平台把数据管理、模型训练、推理部署到应用集成做全生命周期统一纳管,好处正是技能定义、模型版本与知识库版本可以一起演进,而不是彼此脱钩。

五、治理与可观测:让 Skill 可运营

技能上线只是开始,能否治理决定它能不能长期留在生产环境。最小可用的治理面包括:

  • 权限与最小授权 :每个 Skill 声明所需权限,运行时按调用者身份二次鉴权,禁止模型侧携带明文凭证。
  • 配额与成本归因 :按 Skill、按租户统计调用量与 Token 消耗,识别高成本低价值技能。选型阶段可先在 词元所模型服务 上做价格与性能对比,把不同技能路由到成本更合适的模型上。
  • 版本与灰度 :清单与代码同仓版本化,新版本先小流量灰度,保留一键回滚。
  • 全链路追踪 :记录意图识别、技能选择、参数、工具返回、最终回复,出错时能定位到具体环节而非只看到一个失败状态。

六、评测闭环:技能体系的迭代引擎

没有评测集的 Skill 体系无法演进。可复用的流程是:整理一批真实问题集,批量跑问答结果,人工预标注形成测试集,再把生成结果与标准答案比对,得到准确率是否达标的结论。这套思路在知识问答类能力上已有成熟实践,同样适用于技能路由评测——重点看三个指标:技能选择准确率、槽位填充完整率、任务完成率。

线上侧则依赖反馈闭环。对话测试中展示回复来源与思维路径,能定位到文档段落原文,让回复有据可依;对检索与生成结果的点踩点赞数据,可回流用于模型与检索优化。把”用户可能想问”这类改写结果也纳入监控,能有效发现意图理解偏差导致的技能误召回。

七、落地检查清单

  1. 每个 Skill 是否有独立清单文件,明确 use_when 与 avoid_when?
  2. 所有副作用操作是否具备幂等键与审批策略?
  3. 是否区分了工作流编排与自主规划,并按可控性要求分配场景?
  4. 是否有技能级权限、配额与成本归因?
  5. 是否有版本化、灰度与回滚机制?
  6. 是否有覆盖技能选择准确率的评测集与线上反馈通道?
  7. 模型层是否可替换,避免与单一供应商强耦合?

Agent 能力的上限,最终不取决于用了哪个模型,而取决于你把能力组织得多清楚。先把模型接入与选型做成可替换的一层,再把技能做成语义、执行、治理齐备的架构单元,Agent 才具备从 Demo 走向生产的资格。

发表评论

活动