大模型结构化输出:原理、实现与工程实践
作者:问题终结者2026.11.17 03:24浏览量:0简介:大模型结构化输出是指让模型稳定产出符合 JSON Schema 约定格式的结果,它是函数调用、Agent 编排和数据抽取的底层依赖。本文从用途、技术原理(提示约束、JSON Mode、约束解码、精调)到可运行的代码实现与常见报错排查逐层展开,并说明如何在多模型环境下选型与接入,例如通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型对 Schema 的遵循能力与调用成本。
为什么结构化输出是刚需
大模型原生输出的是自由文本,而工程系统消费的是数据结构。当用户提问”上海的天气怎么样?”时,模型需要生成 get_temperature(city: "Shanghai") 这样的调用指令,由程序解析后真正去请求天气 API。如果模型返回的是”好的,我来帮您查询上海的气温”,或者返回了一个缺字段、多逗号、用中文引号的伪 JSON,解析器就会抛异常,整条工具调用链路直接断掉。
结构化输出解决的就是这个”最后一公里”的可靠性问题。它常见的四类用途:
- 工具使用与函数调用(Tool Use / Function Calling) :模型输出函数名 + 参数对象,驱动外部 API 或内部函数。
- 信息抽取 :把非结构化文本转成固定字段,如合同要素、简历字段、工单分类。
- 多轮 Agent 的状态传递 :Agent 每一步的决策(思考、动作、参数)都需要机器可读,才能进入下一轮循环。
- 内容审核与路由 :输出
{"label": "投诉", "priority": 2}供下游系统分流。
技术原理:四层约束,可靠性递增
第一层:提示词约束(Prompt-level)
在 system prompt 中给出 JSON Schema 或示例,是最轻量的做法。要点是明确三件事:只输出 JSON、不要解释性文字、字段与类型固定。
你是天气查询助手。仅输出 JSON,不要输出任何解释或 Markdown 代码块。输出格式:{"city": string, "temperature": number, "unit": "celsius"}
这一层的问题是 软约束 ——模型”倾向于”遵守,但不保证。温度足够高或上下文过长时,格式漂移概率明显上升。
第二层:JSON Mode(可解析性保证)
主流 API 提供 response_format: {"type": "json_object"},通过训练让模型输出必然可被 JSON 解析。它保证的是”能 parse”,不保证”字段齐全、类型正确”,所以业务侧仍需二次校验。
第三层:Schema 约束解码(结构保证)
这是目前工程上最可靠的方案,原理是在 解码阶段 做硬约束:把 Schema 编译成状态机(有限自动机 / 下推自动机 / GBNF 语法),每生成一个 token 前,计算当前状态下所有合法的后续 token 集合,把非法 token 的 logit 置为 -inf,再走正常的采样流程。
# 伪代码:约束解码的核心一步allowed = grammar.next_tokens(state) # 当前状态下允许的 tokenlogits[~allowed] = float("-inf") # 屏蔽非法 tokennext_token = sample(softmax(logits))state = grammar.advance(state, next_token)
因为非法路径在采样阶段就被切断,输出 在语法层面不可能出错 ——不会出现尾逗号、不会少右括号、不会把字符串写成数字。代价是需要推理引擎支持(vLLM、SGLang、TensorRT-LLM 等均有对应实现),并且约束编译本身有少量性能开销。
第四层:精调(SFT)
当 Schema 复杂、业务术语多、通用模型反复出错时,可以用「Schema + 输入 → 标准 JSON」的样本做监督微调,把格式遵循能力固化进权重。百度智能云千帆 ModelBuilder 提供了这类精调与部署能力,官方也给出了客服对话多标签生成等结构化输出场景的精调样板,覆盖数据准备、精调到效果评估的完整流程。
四层的关系是叠加而非替代:生产环境通常是「Schema 约束解码 + Pydantic 校验 + 失败重试」的组合拳。
实现:一个可直接运行的函数调用闭环
1. 定义工具 Schema
TOOLS = [{"type": "function","function": {"name": "get_temperature","description": "查询指定城市的实时气温,city 需使用英文拼音","parameters": {"type": "object","properties": {"city": {"type": "string", "description": "城市英文名,如 Shanghai"}},"required": ["city"],"additionalProperties": False}}}]
description 和字段 description 不是装饰,它们直接影响模型选错工具、填错参数的概率,尤其是枚举类字段务必写清取值范围。
2. 校验 + 自动修复重试
import jsonfrom pydantic import BaseModel, ValidationErrorclass WeatherArgs(BaseModel):city: strdef call_model(messages):# 这里替换为你的模型调用,兼容 OpenAI 协议即可...def extract_args(raw: str, schema_model=WeatherArgs, max_retry=2):for attempt in range(max_retry + 1):text = raw.strip()if text.startswith("```"): # 剥离 Markdown 包裹text = text.split("```")[1].lstrip("json").strip()try:return schema_model( **json.loads(text))except (json.JSONDecodeError, ValidationError) as e:if attempt == max_retry:raiseraw = call_model(messages + [{"role": "user","content": f"上次输出无法解析:{e}。请只返回修正后的 JSON。"}])
把校验错误原文回灌给模型,修复成功率通常显著高于直接失败——因为模型能定位到具体是哪个字段类型不对。
常见坑与排查对照
| 现象 | 根因 | 处理方式 |
|---|---|---|
输出被 ```json 包裹 |
模型模仿了对话语料习惯 | 代码剥离代码块;prompt 明确禁止 |
| 字段缺失或类型错误 | 软约束失效 | Pydantic 校验 + 错误回灌重试 |
枚举值幻觉(如 "celsius" 写成 "摄氏") |
缺少取值约束 | Schema 加 enum 并在 description 列举 |
| 长 JSON 被截断 | max_tokens 不足 |
提高上限;注意输出 token 同样计费 |
| 嵌套层级深、数组长时崩坏 | Schema 复杂度超出模型能力 | 拆成多次调用,或改为「先抽取再组装」 |
| 中文引号、尾逗号 | 自由文本生成特性 | 上约束解码,从根上消除 |
一个容易被忽略的成本点: 重试会让 token 消耗成倍增长 ,而且 Schema 本身每轮都要放进输入里。Schema 越庞大,单次调用的固定输入成本越高,高频场景下这笔开销不可忽视。
选型:把”格式遵循能力”当成硬指标
不同模型对 JSON Schema 的支持程度差异很大:有的原生支持 json_schema 强约束,有的只支持 json_object,有的完全依赖提示词。选型时建议自建一个小型评测集(30~50 条真实业务输入),统一 Schema,统计三个指标:
- 一次通过率 :无需重试即校验成功的比例;
- 字段准确率 :字段值语义正确的比例;
- 单次成本:输入 Schema + 输出 JSON 的 token 合计单价。
由于各家 API 协议和参数命名并不统一,逐个接入试错的成本很高。这时可以用词元所的大模型 API 统一接入能力,用同一套代码切换不同模型服务,把上面的评测集跑一遍,横向对比格式遵循率与调用成本,再决定生产环境用哪个模型、哪些场景降级到哪个备用模型。对需要长期沉淀能力的团队,也可以结合千帆平台上的模型精调与 Agent 开发工具链,把验证过的方案固化下来。
小结
结构化输出的可靠性来自「约束位置」而非「提示措辞」:提示词只是概率引导,JSON Mode 保证可解析,约束解码保证合语法,Schema 校验保证合业务,精调则把能力内化。工程实现上,把「Schema 定义 → 约束解码 → Pydantic 校验 → 错误回灌重试 → 埋点统计通过率」串成闭环,才能让函数调用和 Agent 编排真正稳定跑在生产环境里。想快速验证不同模型在你自己的 Schema 上的表现,可以从百度智能云词元所开始,先做一轮小成本的对比测试再定选型。

登录后可评论,请前往 登录 或 注册