logo

决策模型进入Agent控制面,判断与表达如何拆分

作者:狼烟四起2026.11.17 03:30浏览量:1

简介:讲清决策型模型与生成模型的分工:它为什么适合输出封闭选项的概率,如何设置阈值和兜底,上线前怎样做概率校准与影子运行。文中不依赖未核实的产品参数,适合正在评估客服、知识问答和工具调用场景的团队参考,读完可以拿到一套评测与落地流程。

先说明信息来源

本文讨论的是一类新出现的模型形态:不逐字生成答案,而是在给定选项和评分标准后返回判断结果。文中提到的 Gemini Decision 1 及相关接口,本文未能核实官方文档、版本号和发布日期,因此不引用其具体参数,也不把它描述为已确认的产品能力。下面的分析适用于这一类模型,具体设计应以厂商正式文档为准。

从“写答案”到“选动作”

大多数大模型应用默认让模型输出一段文字。但在客服系统中,很多环节真正需要的是一个动作:查订单、追问单号、转人工,还是发起退款预检。这些动作属于有限集合,程序需要的是结构化结果。

过去常见的做法是要求生成模型“只返回 JSON”。这种做法能用,但生成模型仍然逐字输出,格式错误、字段缺失、候选值越界、响应延迟这些问题都要由业务代码兜底。生成模型同时承担调度、执行和解释三件事,链路越长,每一步的不确定性越容易累加。

如果把判断与表达分开,系统可以让一个模型负责选择下一步动作,另一个模型负责生成用户可见的回复。两者各自评测,出了问题也能定位到具体环节。

判断结果为什么适合程序消费

封闭选项加概率输出,对程序来说最直接。系统可以设置阈值:概率达到 0.8 时自动执行,介于 0.5 和 0.8 之间时追问用户,低于 0.5 时转人工。阈值由业务方决定,模型只负责给出概率。

多个候选接近时,单看排名第一的选项很危险。比如“物流查询 0.46、退款申请 0.41”,两者差距很小,这时更稳妥的做法是增加一轮追问,或者把两个候选都交给规则校验。

同一段对话也可以拆成多个独立问题同时判断,例如意图、下一步动作、是否需要补充信息、是否涉及敏感承诺。每个问题有自己的选项、标准和阈值,便于单独调优。

概率不是事实

模型输出的概率只表示它在当前输入和选项下的倾向,并不保证结果正确。概率会受到选项命名、评分标准的措辞、输入分布、上下文长度和示例顺序影响。同一个问题换一种选项写法,结果可能明显变化。

因此上线前要做三件事。

第一,检查校准性。把所有预测概率在 0.8 左右的样本拿出来,统计它们实际的正确率。如果实际只有 60%,阈值就要重新设定。校准不好时,概率只能用来排序,不能当作置信度使用。

第二,做统计检验。样本量太小时,几个百分点的差距可能只是随机波动。比较两个版本时,应使用置信区间或配对检验,不能只看平均值。

第三,监控漂移。线上用户的说法会随季节、活动和产品变化而改变。建议每周抽样复核,观察意图分布和概率分布是否偏移,偏移后及时重新标注和校准。

适用边界:什么任务优先考虑

决策型模型更适合下面这类任务:选项封闭或半封闭,判断标准能写清楚,结果事后可以验证,错误代价可控,并且失败后有明确的回退路径。

以下任务不适合直接交给它:需要长篇解释的回答、需要展示推理过程的审计报告、创意写作、开放式咨询,以及任何一次出错就会造成资金损失且无法撤回的操作。这些场景仍然需要生成模型配合,或者需要人工参与。

决策模型更接近反射组件,负责快速回答“下一步做什么”。它不适合替代全部生成任务。

与现有系统如何组合

大多数企业已经有 FAQ、任务式对话、传统分类器和规则引擎。这些系统通常稳定、成本低、行为可解释,不应该因为新模型出现就全部替换。

更合理的做法是把新模型放在控制面的位置。常见的组合包括:

  • 模型路由:简单问题交给小模型,复杂问题交给深度推理模型。
  • 工具选择:判断调用订单查询、物流查询还是退款预检。
  • 策略检查:判断回复是否包含承诺性表述或高风险操作。
  • 上下文评级:判断当前信息是否足够支持自动回答。

每一项都需要明确的验证指标和失败兜底。下表列出四种组合的常见设计。

候选场景 模型承担的作用 验证指标 失败兜底
模型路由 选择小模型或深度模型 成本、延迟、回答质量 默认走深度模型
工具选择 选择要调用的工具 工具选择准确率 回退到人工选择菜单
策略检查 标记敏感承诺 漏报率、误报率 命中即转人工
上下文评级 判断信息是否充分 自动回答后的纠错率 追问用户补充信息

落地步骤

1. 把问题拆成决策项

每个决策项至少包含四部分:输入上下文、候选选项、评分标准和输出阈值。候选选项应当是封闭集合,并包含“其他”或“无法判断”,避免模型在不合适的选项中被迫选择。

2. 构造评测集

从历史对话中抽取真实样本,先取几百条,覆盖高频问题和长尾问题。标注应由两人独立完成,并计算标注一致性。如果一致性很低,说明选项定义本身有问题,应先修改定义,再评估模型效果。

指标不能只看准确率。需要同时记录自动解决率、误转人工率、漏转人工率、平均延迟和单次调用成本。离线结果和线上结果要分开统计,离线表现好不代表线上同样好。

3. 先做影子运行

影子运行时,新模型与旧逻辑并行处理同一批请求,但只记录建议,不执行。收集两到四周的数据后,比较两者在不同意图上的差异,找出新模型稳定的类别和容易出错的类别。

4. 设计退路

任何自动决策都需要兜底,常见做法包括:

  • 概率低于阈值时转人工。
  • 多个候选概率接近时追问用户。
  • 高风险动作必须二次确认。
  • 工具调用失败时回退到上一个稳定状态。
  • 金额、账号、地址等关键字段必须经过规则校验,不直接采信模型给出的值。

代码示意

以下代码用于说明结构。字段名和接口地址均为虚构,不对应任何已发布的 API,实际接入时应以官方文档为准。

```python
import requests

D

发表评论

活动