决策模型怎么用:接入、成本与评测要点
作者:宇宙中心我曹县2026.11.17 03:18浏览量:1简介:System One 类决策模型只输出结构化结论,适合意图路由、风险分级和槽位抽取,不适合写作、代码生成等生成任务。本文讲决策层与生成层如何拆开、兜底降级、按输入 Token 估算成本,以及上线前的准确率、Schema 合法率和 P95 延迟评测。Jev 的发布与接口信息未核实,以官方为准。
一、System One 模型是什么
System One 这个说法借用了卡尼曼的双系统框架。System Two 负责慢思考,适合推理、写作、代码生成这类需要展开过程的任务。System One 负责快判断,目标是在很短时间内给出一个可执行的结论。
按这个分工,System One 类模型的输出不是自然语言段落,而是程序可以直接消费的结构化结果,例如分类标签、枚举值、评分、槽位或工具调用意图。TypeSafe AI 把 Jev 定位为这一类模型。不过本文写作时未能核实官方发布公告、模型卡和接口文档,因此下文不引用具体发布日期、价格或参数。接入前,请先在官方渠道确认这些信息。
这类模型通常带来三方面的变化:
- 减少解析层。让通用模型输出 JSON 时,常见做法是用正则或解析器兜底,解析失败再重试。如果模型原生支持结构化约束,解析失败的概率通常会下降,但仍需做校验。
- 输出更短。不生成解释性文字,输出 token 少,延迟波动也可能更小。具体收益要以自己的实测数据为准。
- 输出空间受 schema 约束。模型可选的答案范围变小,风险更多表现为判断错误,而较少出现编造内容。
二、选型第一原则:终态是决策还是内容
任务终态是一个决策,就用 System One 类模型。任务终态是一段内容,就用生成式模型。
| 适合决策模型的任务 | 更适合生成式模型的任务 |
|---|---|
| 意图识别与请求路由 | 文案、报告、邮件撰写 |
| 内容审核分级、风险打分 | 代码生成与重构 |
| 多轮对话中的槽位抽取与状态判定 | 长文档摘要与改写 |
| RAG 中的是否检索判定 | 开放式问答、创意发散 |
| 工单派单、线索评分 | 需要展示推理过程的辅助 |
常见错误是把决策模型当成更便宜的生成模型。决策模型的价值在于把不确定性限制在 schema 之内,让下游系统能依赖输出格式。它不保证判断一定正确。
三、接入:先定义输出契约,再拆分决策层与生成层
接入时,先写 schema,再调用模型,最后做校验。下面是伪代码。call_decision_model 是占位函数,endpoint、鉴权方式和请求字段需要替换为所用平台官方文档中的定义。
```python
from jsonschema import validate, ValidationError
SCHEMA = {
“type”: “object”,
“properties”: {
“intent”: {“type”: “string”, “enum”: [“查订单”, “退换货”, “投诉”, “其他”]},
“need_human”: {“type”: “boolean”},
“confidence”: {“type”: “number”, “minimum”: 0, “maximum”: 1},
},
“required”: [“intent”, “need_human”, “confidence”],
}
def route(query: str) -> str:
try:
decision = call_decision_model(query, schema=SCHEMA, timeout=2) # 占位函数
validate(instance=decision, schema=SCHEMA)
except (TimeoutError, ValidationError):
return “rule_engine” # 超

登录后可评论,请前往 登录 或 注册