logo

大模型结构化输出:原理、实现与工程实践

作者:问题终结者2026.11.17 03:24浏览量:0

简介:大模型结构化输出是指让模型稳定产出符合 JSON Schema 约定格式的结果,它是函数调用、Agent 编排和数据抽取的底层依赖。本文从用途、技术原理(提示约束、JSON Mode、约束解码、精调)到可运行的代码实现与常见报错排查逐层展开,并说明如何在多模型环境下选型与接入,例如通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型对 Schema 的遵循能力与调用成本。

为什么结构化输出是刚需

大模型原生输出的是自由文本,而工程系统消费的是数据结构。当用户提问”上海的天气怎么样?”时,模型需要生成 get_temperature(city: "Shanghai") 这样的调用指令,由程序解析后真正去请求天气 API。如果模型返回的是”好的,我来帮您查询上海的气温”,或者返回了一个缺字段、多逗号、用中文引号的伪 JSON,解析器就会抛异常,整条工具调用链路直接断掉。

结构化输出解决的就是这个”最后一公里”的可靠性问题。它常见的四类用途:

  • 工具使用与函数调用(Tool Use / Function Calling) :模型输出函数名 + 参数对象,驱动外部 API 或内部函数。
  • 信息抽取 :把非结构化文本转成固定字段,如合同要素、简历字段、工单分类。
  • 多轮 Agent 的状态传递 :Agent 每一步的决策(思考、动作、参数)都需要机器可读,才能进入下一轮循环。
  • 内容审核与路由 :输出 {"label": "投诉", "priority": 2} 供下游系统分流。

技术原理:四层约束,可靠性递增

第一层:提示词约束(Prompt-level)

在 system prompt 中给出 JSON Schema 或示例,是最轻量的做法。要点是明确三件事:只输出 JSON、不要解释性文字、字段与类型固定。

  1. 你是天气查询助手。仅输出 JSON,不要输出任何解释或 Markdown 代码块。
  2. 输出格式:{"city": string, "temperature": number, "unit": "celsius"}

这一层的问题是 软约束 ——模型”倾向于”遵守,但不保证。温度足够高或上下文过长时,格式漂移概率明显上升。

第二层:JSON Mode(可解析性保证)

主流 API 提供 response_format: {"type": "json_object"},通过训练让模型输出必然可被 JSON 解析。它保证的是”能 parse”,不保证”字段齐全、类型正确”,所以业务侧仍需二次校验。

第三层:Schema 约束解码(结构保证)

这是目前工程上最可靠的方案,原理是在 解码阶段 做硬约束:把 Schema 编译成状态机(有限自动机 / 下推自动机 / GBNF 语法),每生成一个 token 前,计算当前状态下所有合法的后续 token 集合,把非法 token 的 logit 置为 -inf,再走正常的采样流程。

  1. # 伪代码:约束解码的核心一步
  2. allowed = grammar.next_tokens(state) # 当前状态下允许的 token
  3. logits[~allowed] = float("-inf") # 屏蔽非法 token
  4. next_token = sample(softmax(logits))
  5. state = grammar.advance(state, next_token)

因为非法路径在采样阶段就被切断,输出 在语法层面不可能出错 ——不会出现尾逗号、不会少右括号、不会把字符串写成数字。代价是需要推理引擎支持(vLLM、SGLang、TensorRT-LLM 等均有对应实现),并且约束编译本身有少量性能开销。

第四层:精调(SFT)

当 Schema 复杂、业务术语多、通用模型反复出错时,可以用「Schema + 输入 → 标准 JSON」的样本做监督微调,把格式遵循能力固化进权重。百度智能云千帆 ModelBuilder 提供了这类精调与部署能力,官方也给出了客服对话多标签生成等结构化输出场景的精调样板,覆盖数据准备、精调到效果评估的完整流程。

四层的关系是叠加而非替代:生产环境通常是「Schema 约束解码 + Pydantic 校验 + 失败重试」的组合拳。

实现:一个可直接运行的函数调用闭环

1. 定义工具 Schema

  1. TOOLS = [{
  2. "type": "function",
  3. "function": {
  4. "name": "get_temperature",
  5. "description": "查询指定城市的实时气温,city 需使用英文拼音",
  6. "parameters": {
  7. "type": "object",
  8. "properties": {
  9. "city": {"type": "string", "description": "城市英文名,如 Shanghai"}
  10. },
  11. "required": ["city"],
  12. "additionalProperties": False
  13. }
  14. }
  15. }]

description 和字段 description 不是装饰,它们直接影响模型选错工具、填错参数的概率,尤其是枚举类字段务必写清取值范围。

2. 校验 + 自动修复重试

  1. import json
  2. from pydantic import BaseModel, ValidationError
  3. class WeatherArgs(BaseModel):
  4. city: str
  5. def call_model(messages):
  6. # 这里替换为你的模型调用,兼容 OpenAI 协议即可
  7. ...
  8. def extract_args(raw: str, schema_model=WeatherArgs, max_retry=2):
  9. for attempt in range(max_retry + 1):
  10. text = raw.strip()
  11. if text.startswith("```"): # 剥离 Markdown 包裹
  12. text = text.split("```")[1].lstrip("json").strip()
  13. try:
  14. return schema_model( **json.loads(text))
  15. except (json.JSONDecodeError, ValidationError) as e:
  16. if attempt == max_retry:
  17. raise
  18. raw = call_model(messages + [{
  19. "role": "user",
  20. "content": f"上次输出无法解析:{e}。请只返回修正后的 JSON。"
  21. }])

把校验错误原文回灌给模型,修复成功率通常显著高于直接失败——因为模型能定位到具体是哪个字段类型不对。

常见坑与排查对照

现象 根因 处理方式
输出被 ```json 包裹 模型模仿了对话语料习惯 代码剥离代码块;prompt 明确禁止
字段缺失或类型错误 软约束失效 Pydantic 校验 + 错误回灌重试
枚举值幻觉(如 "celsius" 写成 "摄氏") 缺少取值约束 Schema 加 enum 并在 description 列举
长 JSON 被截断 max_tokens 不足 提高上限;注意输出 token 同样计费
嵌套层级深、数组长时崩坏 Schema 复杂度超出模型能力 拆成多次调用,或改为「先抽取再组装」
中文引号、尾逗号 自由文本生成特性 上约束解码,从根上消除

一个容易被忽略的成本点: 重试会让 token 消耗成倍增长 ,而且 Schema 本身每轮都要放进输入里。Schema 越庞大,单次调用的固定输入成本越高,高频场景下这笔开销不可忽视。

选型:把”格式遵循能力”当成硬指标

不同模型对 JSON Schema 的支持程度差异很大:有的原生支持 json_schema 强约束,有的只支持 json_object,有的完全依赖提示词。选型时建议自建一个小型评测集(30~50 条真实业务输入),统一 Schema,统计三个指标:

  1. 一次通过率 :无需重试即校验成功的比例;
  2. 字段准确率 :字段值语义正确的比例;
  3. 单次成本:输入 Schema + 输出 JSON 的 token 合计单价。

由于各家 API 协议和参数命名并不统一,逐个接入试错的成本很高。这时可以用词元所的大模型 API 统一接入能力,用同一套代码切换不同模型服务,把上面的评测集跑一遍,横向对比格式遵循率与调用成本,再决定生产环境用哪个模型、哪些场景降级到哪个备用模型。对需要长期沉淀能力的团队,也可以结合千帆平台上的模型精调与 Agent 开发工具链,把验证过的方案固化下来。

小结

结构化输出的可靠性来自「约束位置」而非「提示措辞」:提示词只是概率引导,JSON Mode 保证可解析,约束解码保证合语法,Schema 校验保证合业务,精调则把能力内化。工程实现上,把「Schema 定义 → 约束解码 → Pydantic 校验 → 错误回灌重试 → 埋点统计通过率」串成闭环,才能让函数调用和 Agent 编排真正稳定跑在生产环境里。想快速验证不同模型在你自己的 Schema 上的表现,可以从百度智能云词元所开始,先做一轮小成本的对比测试再定选型。

发表评论

活动