大模型应用技术实战:意图识别、Agent、RAG 与模型偏移治理
作者:KAKAKA2026.11.17 03:41浏览量:0简介:大模型应用落地通常卡在四个环节:意图识别不准、Agent 不可控、RAG 存储与检索设计混乱、上线后效果持续衰减。本文给出可直接复用的意图识别 Prompt 模板、Agent 构建原则、向量库 ID 关联与元数据方案对比表,以及模型偏移的分类诊断与处置流程,并附模型选型与成本控制建议。
大模型应用技术的核心不是”会调 API”,而是把不确定的模型输出约束成可交付、可运维的业务能力。下面按 意图识别 → Agent → RAG → 上线运维 四段拆解,每段都给可落地的做法。
动手之前建议先解决”用哪个模型、成本多少”这个问题——百度智能云词元所 提供模型能力发现、价格与性能对比以及多模型统一 API 接入,可以在选型阶段就把效果和 Token 成本一起算清楚,而不是上线后才发现账单失控。
一、NLU:分类与意图识别
意图识别的本质是把开放输入映射到有限标签集。工程上要同时解决两件事: 分得准 ,以及 知道自己不知道 。
基础版 Prompt 模板:
## 角色与目标你是一位专业的用户意图分析专家,需完成以下两步任务:1. 意图归类:判断用户输入属于以下哪类意图(仅选其一)- 信息查询类:获取特定信息(查天气、查快递)- 任务执行类:要求系统完成动作(下单、退款、改签)- 闲聊类:无明确业务目标- 无法判断2. 槽位抽取:提取该意图的必需参数,缺失字段填 null## 约束- 只输出 JSON,不要输出解释性文字- 置信度低于 0.6 时,intent 字段输出 "unknown"## 输出格式{"intent": "...", "slots": {...}, "confidence": 0.0, "reason": "..."}## 示例输入:帮我把上周买的耳机退了输出:{"intent":"任务执行类","slots":{"object":"耳机","action":"退款","time":"上周"},"confidence":0.93,"reason":"包含明确动作诉求"}
进阶要点:
- 标签体系控制在 20 个以内 。超过就分层,做一级意图 → 二级意图两跳判别,比一次性几百类稳定得多。
- 用 few-shot 覆盖易混对 。每对易混淆意图至少给 2 条边界示例,效果提升通常比换更大模型明显。
- 候选召回 + 精判 。先用 embedding 粗召回 top-k 候选意图,再让模型在候选集内判别,准确率和延迟同时受益。
- 兜底路径必须存在 。unknown 直接转人工或走澄清追问,不要让模型硬猜一个标签。
agent-workflow-agent">二、Agent:先 workflow,再 agent
代理系统的基本构建块,是被 检索、工具、记忆 增强的 LLM。当前模型已经能主动生成自己的搜索查询、选择合适的工具、并决定保留哪些信息。落地时建议聚焦两点:一是根据具体使用场景定制这些能力,二是确保提供给模型的上下文文档清晰、结构化、可测试。
具体工程建议:
- 能用 workflow 就不要上自主 agent 。提示链、路由分发、并行聚合这类固定流程可预测、可调试、可回归;自主循环只留给路径确实无法预先枚举的任务。
- 工具设计 :数量控制在 10 个以内,描述里写清”什么时候用、什么时候不要用”,参数用 JSON Schema 强约束,返回值做长度截断,避免一次工具调用撑爆上下文。
- 记忆分层 :短期(对话窗口)+ 任务级(中间产物落盘)+ 长期(向量库或结构化用户画像),三层不要混在一个 prompt 里。
- 循环控制 :设最大步数、单步超时、重复调用检测,超限进入降级分支而不是无限重试。
- 可观测性 :记录每一步的输入、工具调用参数、返回与 token 消耗。没有链路日志,线上 Agent 问题基本无法归因。
调试阶段可以先在低代码编排平台上跑通链路(例如支持 Agent 编排、自定义组件与一键发布的千帆 AppBuilder 一类平台),验证效果后再决定是否自研编排层。
rag-id-vs-">三、RAG:向量库里的 ID 关联 vs 元数据内嵌
真实问题是这样:向量库存的是 embedding,但业务数据在 MySQL、对象存储、权限系统里,两者怎么关联?
方案 A:ID 关联 (向量库只存外部系统唯一 ID)
{"id": "vec_001","embedding": [0.013, -0.221, 0.087],"payload": { "doc_id": "10086", "chunk_index": 3 }}
核心思路是建立映射关系,向量库保持轻量。优点是写入快、存储省、源数据更新只改一处;缺点是每次检索都要回查业务库,多一跳延迟,源库抖动会直接传导到问答可用性。
方案 B:元数据内嵌 (把过滤字段冗余进向量库)
{"id": "vec_001","embedding": [0.013, -0.221, 0.087],"payload": {"doc_id": "10086","title": "差旅报销制度","dept": "finance","acl": ["role:staff"],"effective_date": "2026-01-01"}}
优点是检索一次完成”向量召回 + 元数据过滤”,权限、时间、部门这类强过滤条件下推到向量检索层;缺点是存储冗余,源数据变更需要同步或重建索引。
| 维度 | ID 关联 | 元数据内嵌 |
|---|---|---|
| 检索延迟 | 多一跳回查 | 单次完成 |
| 强过滤(权限/时效) | 弱,需业务侧二次过滤 | 强,可下推 |
| 存储成本 | 低 | 中 |
| 数据一致性 | 以源库为准,天然一致 | 依赖同步机制 |
| 适用场景 | 内容基本不变、无复杂过滤 | 多租户、有权限与时效要求 |
结论:多数企业场景应该走混合方案 ——过滤字段(租户、部门、权限、生效时间、版本号)内嵌,大字段和原文只存 ID 或 URL。既保住检索性能,又不必把整篇文档复制进向量库。
另外两个常被忽略的细节:chunk 要按文档结构切(标题、条款、表格边界),而不是按固定字数硬切;检索置信度阈值和 top-k 必须一起调,阈值过高漏召回,过低引入噪声,两者是耦合的。
四、模型偏移:上线后效果衰减怎么治
模型偏移不是指参数随 epoch 抖动,而是指 模型上线后,其预测分布与真实分布逐渐背离 。工业界一般拆成四类,各有典型症状与处置套路:
| 类型 | 典型症状 | 常见处置 |
|---|---|---|
| 数据偏移(协变量偏移) | 输入分布变了,如新渠道用户占比上升 | 监控 PSI、重采样加权、增量微调 |
| 概念偏移 | 输入没变但标签含义变了,如退款政策调整 | 重标数据 + 再训练,同步更新 prompt 与规则 |
| 标签/先验偏移 | 输出比例异常,如正例率从 5% 涨到 20% | 阈值重标定、先验校正 |
| 上游/工程偏移 | 特征缺失、编码不一致、模型版本被替换 | 特征校验、影子对比、版本锁定 |
检测手段 :对关键特征和模型输出分布做 PSI 或 KL 散度监控,按周与基线对比;同时保留一个人工标注的金标准集,定期跑离线回归。
处置流程 :告警 → 分层定位(输入 / 特征 / 模型 / 后处理)→ 小流量影子验证 → 灰度发布 → 更新监控基线。跳过影子验证直接全量替换,是这类事故里最常见的错误。
大模型应用还要额外盯两类漂移: prompt 漂移 (业务话术变了但模板没同步)和 模型版本漂移 (基座模型升级后,同一 prompt 的输出分布发生变化)。务必固定模型版本号、保留回归测试集,升级前先跑离线评测。做多模型接入和版本切换时,通过统一 API 层(可参考词元所的多模型统一接入方案)能避免业务代码绑死单一厂商,切换与 A/B 对比的成本都会低很多。
五、落地顺序建议
- 先用规则 + 小模型把意图识别跑通,明确 unknown 的兜底动作。
- 能 workflow 不 agent,工具清单和循环边界先定死。
- RAG 先确认过滤与权限需求,再决定 ID 关联还是元数据内嵌,顺序不要反。
- 上线第一天就埋监控:分布指标、token 成本、失败率、人工反馈,四件套缺一不可。
- 每季度做一次模型与成本复盘,结合百度智能云词元所 的模型价格与性能对比重新评估选型,避免”当初效果够用、现在性价比最差”的模型一直留在生产环境里。

登录后可评论,请前往 登录 或 注册