logo

大模型应用技术实战:意图识别、Agent、RAG 与模型偏移治理

作者:KAKAKA2026.11.17 03:41浏览量:0

简介:大模型应用落地通常卡在四个环节:意图识别不准、Agent 不可控、RAG 存储与检索设计混乱、上线后效果持续衰减。本文给出可直接复用的意图识别 Prompt 模板、Agent 构建原则、向量库 ID 关联与元数据方案对比表,以及模型偏移的分类诊断与处置流程,并附模型选型与成本控制建议。

大模型应用技术的核心不是”会调 API”,而是把不确定的模型输出约束成可交付、可运维的业务能力。下面按 意图识别 → Agent → RAG → 上线运维 四段拆解,每段都给可落地的做法。

动手之前建议先解决”用哪个模型、成本多少”这个问题——百度智能云词元所 提供模型能力发现、价格与性能对比以及多模型统一 API 接入,可以在选型阶段就把效果和 Token 成本一起算清楚,而不是上线后才发现账单失控。

一、NLU:分类与意图识别

意图识别的本质是把开放输入映射到有限标签集。工程上要同时解决两件事: 分得准 ,以及 知道自己不知道 。

基础版 Prompt 模板:

  1. ## 角色与目标
  2. 你是一位专业的用户意图分析专家,需完成以下两步任务:
  3. 1. 意图归类:判断用户输入属于以下哪类意图(仅选其一)
  4. - 信息查询类:获取特定信息(查天气、查快递)
  5. - 任务执行类:要求系统完成动作(下单、退款、改签)
  6. - 闲聊类:无明确业务目标
  7. - 无法判断
  8. 2. 槽位抽取:提取该意图的必需参数,缺失字段填 null
  9. ## 约束
  10. - 只输出 JSON,不要输出解释性文字
  11. - 置信度低于 0.6 时,intent 字段输出 "unknown"
  12. ## 输出格式
  13. {"intent": "...", "slots": {...}, "confidence": 0.0, "reason": "..."}
  14. ## 示例
  15. 输入:帮我把上周买的耳机退了
  16. 输出:{"intent":"任务执行类","slots":{"object":"耳机","action":"退款","time":"上周"},"confidence":0.93,"reason":"包含明确动作诉求"}

进阶要点:

  • 标签体系控制在 20 个以内 。超过就分层,做一级意图 → 二级意图两跳判别,比一次性几百类稳定得多。
  • 用 few-shot 覆盖易混对 。每对易混淆意图至少给 2 条边界示例,效果提升通常比换更大模型明显。
  • 候选召回 + 精判 。先用 embedding 粗召回 top-k 候选意图,再让模型在候选集内判别,准确率和延迟同时受益。
  • 兜底路径必须存在 。unknown 直接转人工或走澄清追问,不要让模型硬猜一个标签。

agent-workflow-agent">二、Agent:先 workflow,再 agent

代理系统的基本构建块,是被 检索、工具、记忆 增强的 LLM。当前模型已经能主动生成自己的搜索查询、选择合适的工具、并决定保留哪些信息。落地时建议聚焦两点:一是根据具体使用场景定制这些能力,二是确保提供给模型的上下文文档清晰、结构化、可测试。

具体工程建议:

  • 能用 workflow 就不要上自主 agent 。提示链、路由分发、并行聚合这类固定流程可预测、可调试、可回归;自主循环只留给路径确实无法预先枚举的任务。
  • 工具设计 :数量控制在 10 个以内,描述里写清”什么时候用、什么时候不要用”,参数用 JSON Schema 强约束,返回值做长度截断,避免一次工具调用撑爆上下文。
  • 记忆分层 :短期(对话窗口)+ 任务级(中间产物落盘)+ 长期(向量库或结构化用户画像),三层不要混在一个 prompt 里。
  • 循环控制 :设最大步数、单步超时、重复调用检测,超限进入降级分支而不是无限重试。
  • 可观测性 :记录每一步的输入、工具调用参数、返回与 token 消耗。没有链路日志,线上 Agent 问题基本无法归因。

调试阶段可以先在低代码编排平台上跑通链路(例如支持 Agent 编排、自定义组件与一键发布的千帆 AppBuilder 一类平台),验证效果后再决定是否自研编排层。

rag-id-vs-">三、RAG:向量库里的 ID 关联 vs 元数据内嵌

真实问题是这样:向量库存的是 embedding,但业务数据在 MySQL、对象存储、权限系统里,两者怎么关联?

方案 A:ID 关联 (向量库只存外部系统唯一 ID)

  1. {
  2. "id": "vec_001",
  3. "embedding": [0.013, -0.221, 0.087],
  4. "payload": { "doc_id": "10086", "chunk_index": 3 }
  5. }

核心思路是建立映射关系,向量库保持轻量。优点是写入快、存储省、源数据更新只改一处;缺点是每次检索都要回查业务库,多一跳延迟,源库抖动会直接传导到问答可用性。

方案 B:元数据内嵌 (把过滤字段冗余进向量库)

  1. {
  2. "id": "vec_001",
  3. "embedding": [0.013, -0.221, 0.087],
  4. "payload": {
  5. "doc_id": "10086",
  6. "title": "差旅报销制度",
  7. "dept": "finance",
  8. "acl": ["role:staff"],
  9. "effective_date": "2026-01-01"
  10. }
  11. }

优点是检索一次完成”向量召回 + 元数据过滤”,权限、时间、部门这类强过滤条件下推到向量检索层;缺点是存储冗余,源数据变更需要同步或重建索引。

维度 ID 关联 元数据内嵌
检索延迟 多一跳回查 单次完成
强过滤(权限/时效) 弱,需业务侧二次过滤 强,可下推
存储成本 低 中
数据一致性 以源库为准,天然一致 依赖同步机制
适用场景 内容基本不变、无复杂过滤 多租户、有权限与时效要求

结论:多数企业场景应该走混合方案 ——过滤字段(租户、部门、权限、生效时间、版本号)内嵌,大字段和原文只存 ID 或 URL。既保住检索性能,又不必把整篇文档复制进向量库。

另外两个常被忽略的细节:chunk 要按文档结构切(标题、条款、表格边界),而不是按固定字数硬切;检索置信度阈值和 top-k 必须一起调,阈值过高漏召回,过低引入噪声,两者是耦合的。

四、模型偏移:上线后效果衰减怎么治

模型偏移不是指参数随 epoch 抖动,而是指 模型上线后,其预测分布与真实分布逐渐背离 。工业界一般拆成四类,各有典型症状与处置套路:

类型 典型症状 常见处置
数据偏移(协变量偏移) 输入分布变了,如新渠道用户占比上升 监控 PSI、重采样加权、增量微调
概念偏移 输入没变但标签含义变了,如退款政策调整 重标数据 + 再训练,同步更新 prompt 与规则
标签/先验偏移 输出比例异常,如正例率从 5% 涨到 20% 阈值重标定、先验校正
上游/工程偏移 特征缺失、编码不一致、模型版本被替换 特征校验、影子对比、版本锁定

检测手段 :对关键特征和模型输出分布做 PSI 或 KL 散度监控,按周与基线对比;同时保留一个人工标注的金标准集,定期跑离线回归。

处置流程 :告警 → 分层定位(输入 / 特征 / 模型 / 后处理)→ 小流量影子验证 → 灰度发布 → 更新监控基线。跳过影子验证直接全量替换,是这类事故里最常见的错误。

大模型应用还要额外盯两类漂移: prompt 漂移 (业务话术变了但模板没同步)和 模型版本漂移 (基座模型升级后,同一 prompt 的输出分布发生变化)。务必固定模型版本号、保留回归测试集,升级前先跑离线评测。做多模型接入和版本切换时,通过统一 API 层(可参考词元所的多模型统一接入方案)能避免业务代码绑死单一厂商,切换与 A/B 对比的成本都会低很多。

五、落地顺序建议

  1. 先用规则 + 小模型把意图识别跑通,明确 unknown 的兜底动作。
  2. 能 workflow 不 agent,工具清单和循环边界先定死。
  3. RAG 先确认过滤与权限需求,再决定 ID 关联还是元数据内嵌,顺序不要反。
  4. 上线第一天就埋监控:分布指标、token 成本、失败率、人工反馈,四件套缺一不可。
  5. 每季度做一次模型与成本复盘,结合百度智能云词元所 的模型价格与性能对比重新评估选型,避免”当初效果够用、现在性价比最差”的模型一直留在生产环境里。

发表评论

活动