logo

大模型结构化输出的作用、原理与实现

作者:宇宙中心我曹县2026.11.17 03:46浏览量:0

简介:大模型输出是概率性生成的自由文本,直接解析容易出错。结构化输出通过 JSON Schema 约束、约束解码(Constrained Decoding)与校验重试机制,保证模型输出可被程序直接消费,是信息抽取、Function Calling 与 Agent 可靠落地的关键。本文讲清其作用、底层原理与工程实现。

一、结构化输出到底解决什么问题

大模型本质是 自回归的概率生成器 :每一步都在词表上算出一个概率分布,再采样下一个 token。这个过程是概率性的,不是确定性的,所以模型完全可能生成一段”看起来对、但解析不了”的文本——少一个引号、多一段解释性前言、字段名写成同义词、该给的数组给成了字符串。

结构化输出(Structured Output)的作用,就是 把”生成文本”变成”生成符合约定 Schema 的数据” ,让下游程序无需编写脆弱的正则与容错解析逻辑,拿到结果即可直接使用。如果你正在为多个模型接入和调用成本做规划,可以先在 百度智能云词元所 上对比不同模型的结构化输出支持情况与调用成本,再决定用哪个模型承载这类任务。

三个最典型的高价值场景:

1. 非结构化文档的信息抽取

从基金季报中抽取基金经理对某行业的观点、情绪极性(看多/中性/看空)及关联行业代码;从财务附注中抽取政策名称、量化指标、生效时间。输出形如:

  1. {
  2. "manager_view": [
  3. {"industry_code": "801780", "sentiment": "positive", "confidence": 0.82,
  4. "quote": "……"}
  5. ]
  6. }

2. 工具使用与函数调用(Tool Use / Function Calling)

用户问”上海的天气怎么样?”,模型需要产出 get_weather(city: "Shanghai") 对应的 JSON 指令。函数名和参数必须严格符合预定义 Schema,否则解析失败、类型不匹配,工具根本调不起来。结构化输出保证模型生成的 动作指令 格式合法,从而能被系统正确执行。

3. Agent 的多步决策

Agent 每一步都要输出 {"action": "search", "query": "..."} 这类指令。一旦某一步格式崩坏,整个 ReAct 循环就会中断或陷入死循环。格式约束在这里不是”锦上添花”,而是 流程能否跑通的前提 。

二、技术原理:从”提示约束”到”约束解码”

实现结构化输出有四条技术路线,可靠性依次递增。

1. Prompt 约束(最弱)

在提示词里写”请只输出 JSON,不要输出其他内容”,并附上示例。实现成本为零,但 没有任何强制力 ,模型仍可能加 ```json 代码块或前置说明。只适合对格式要求宽松的场景。

2. JSON Mode(语法层约束)

多数推理服务提供 response_format: {"type": "json_object"} 之类的开关。其原理是在解码阶段引入一个 语法约束 :只允许生成能构成合法 JSON 的 token 序列,从而杜绝”少括号””带注释”这类硬错误。但它通常 不校验字段名和类型是否符合你的业务 Schema ——你可能拿到一个合法 JSON,却缺了必填字段。

3. JSON Schema 严格模式(结构层约束)

进一步把 JSON Schema 编译为 有限状态机 / 下推自动机 ,在每一步解码时对所有不符合当前 Schema 状态的 token 做 logits mask (置为 -inf),只保留合法候选。这样模型在物理上无法生成非法结构:

  • 该输出字符串时,不可能吐出 {;
  • 该输出 enum 时,只允许枚举值内的 token;
  • 该输出数组时,元素个数与类型受 minItems / items 约束。

开源生态中,Outlines、XGrammar、llama.cpp 的 GBNF、Guidance 都属于这一层。核心权衡是: Schema 越复杂,编译出的状态机越大,约束计算的开销和首 token 延迟越高 。因此实践中要控制嵌套深度、避免超大 oneOf 分支。

4. 校验 + 修复重试(语义层兜底)

约束解码只能保证 语法与结构合法 ,无法保证 语义正确 ——字段值仍可能是幻觉。所以生产系统必须补上应用层校验与重试。

三、实现:Schema 定义 + 校验重试闭环

以 Python 为例,用 Pydantic 定义 Schema,并让 SDK 自动生成 JSON Schema:

  1. from typing import Literal
  2. from pydantic import BaseModel, Field
  3. class IndustryView(BaseModel):
  4. industry_code: str = Field(pattern=r"^\d{6}$")
  5. sentiment: Literal["positive", "neutral", "negative"]
  6. confidence: float = Field(ge=0, le=1)
  7. quote: str
  8. class ExtractionResult(BaseModel):
  9. manager_view: list[IndustryView]

调用时把模型生成的 JSON Schema 传给接口(不同平台的参数名略有差异,以所用平台的接口文档为准):

  1. resp = client.chat.completions.create(
  2. model="<your-model>",
  3. messages=[{"role": "system", "content": "你是金融研报信息抽取器。"},
  4. {"role": "user", "content": report_text}],
  5. response_format={
  6. "type": "json_schema",
  7. "json_schema": {"name": "ExtractionResult",
  8. "schema": ExtractionResult.model_json_schema(),
  9. "strict": True},
  10. },
  11. )
  12. data = ExtractionResult.model_validate_json(resp.choices.message.content)

如果所用模型不支持严格 Schema,就退回到”提示 + 校验 + 修复”的闭环,这是兼容性最好的兜底方案:

  1. import json
  2. from pydantic import ValidationError
  3. def extract_with_retry(messages, schema_cls, max_retry=2):
  4. for attempt in range(max_retry + 1):
  5. raw = call_model(messages) # 你的模型调用
  6. raw = strip_code_fence(raw) # 去掉 ```json 包裹
  7. try:
  8. return schema_cls.model_validate_json(raw)
  9. except (json.JSONDecodeError, ValidationError) as e:
  10. if attempt == max_retry:
  11. raise
  12. # 把具体错误回灌给模型,让它定点修复
  13. messages = messages + [
  14. {"role": "assistant", "content": raw},
  15. {"role": "user", "content": f"输出校验失败:{e}。请仅修正问题后重新输出完整 JSON。"},
  16. ]

关键点在于 把校验错误原文回灌给模型 ,而不是简单说”格式错了”。前者能让模型定位到具体字段,一次修复成功率显著更高。

四、工程实践中的六个坑

问题 原因 处理方式
输出被代码块包裹 模型受训练语料影响 解析前统一剥离 fence,或在 few-shot 中示范裸 JSON
必填字段缺失 只用 JSON Mode,未约束 Schema 升级到严格 Schema 模式,或校验后重试
数值以字符串返回 模型对类型不敏感 Schema 中显式声明类型,并在校验层做宽松转换
长文档抽取截断 输出超 max_tokens 分段抽取后合并,或缩减单次抽取字段数
首 token 延迟升高 复杂 Schema 状态机编译开销 简化嵌套、拆分任务、复用已编译 Schema
枚举值幻觉 业务枚举未写进 Schema 用 enum / Literal 硬约束,而非在提示词里列举

另外两个容易被忽略的细节:

  • Schema 会占用 prompt token。 复杂 Schema 每次请求都要重复传入,长文本抽取场景下这部分开销不小。若平台支持 prompt caching,把 Schema 放在消息前部可显著降低成本。
  • 结构化输出不等于可信输出。 格式合法只解决了”能不能解析”,事实准确性仍需靠 RAG 提供上下文、规则校验和人工抽检来保障。

五、选型与成本控制

不同模型对结构化输出的支持程度差异明显:有的支持严格 JSON Schema,有的仅支持 JSON Mode,有的完全依赖提示词约束。选型时建议同时评估三项指标—— Schema 遵循率、复杂嵌套下的稳定性、以及长 Schema 带来的 token 成本增量 。

在 词元所 上可以按业务场景筛选模型,对比不同模型的价格与性能表现,并通过统一 API 完成多模型接入,避免为每个模型单独适配一套 SDK。对于抽取、分类这类高频调用任务,用低成本模型 + 严格 Schema 往往比用旗舰模型 + 提示词约束更划算;对于 Agent 的复杂决策节点,则更适合放在 Schema 遵循能力更强的模型上。

如果你要落地的是完整的企业级链路,千帆大模型平台 这类一站式服务通常同时提供模型服务、应用开发与效果评测能力,配合大模型知识问答中的效果评测与检索调优功能,可以量化验证结构化输出的准确率是否达标,再决定是否上线。

一句话总结: 结构化输出 = 严格 Schema 约束(保证格式)+ 应用层校验重试(保证语义)+ 合理的模型选型(保证成本与效果平衡)。三者齐备,LLM 才能真正从”聊天工具”变成”可被程序调用的组件”。

发表评论

活动