logo

推理模型为何更爱编造事实?两条训练路线对比

作者:谁偷走了我的奶酪2026.11.16 10:43浏览量:0

简介:同样是幻觉,以大规模强化学习为主要后训练路径的推理模型,与以监督微调加人类偏好对齐为主流的通用对话模型,其错误形态、信心表达方式和触发条件并不相同。本文对比两条训练路线的技术差异,给出幻觉归因方法、场景化选型条件、提示词与检索侧的抑制手段,以及迁移上线时的兼容性、评测与运维注意事项。

一、对比背景:先把“幻觉严重”这件事拆开看

关于“某类模型经常捏造事实”的讨论,通常混着三个不同的问题:模型到底会不会幻觉、幻觉的形态是什么、用户为什么更容易察觉某类幻觉。这三者的答案并不一致,因此有必要先做技术上的区分。

一个基本共识是:幻觉并不是系统故障,而是概率性生成系统的常态表现。生成式模型需要在“节约计算与存储开销”和“从嘈杂输入中高效提取特征”之间做权衡,这种压缩式建模天然会留下误差空间;出现幻觉的模型仍然是“在正常运转”的模型。真正有工程价值的差异,不在于“有没有幻觉”,而在于:

  • 幻觉在哪些任务上更容易触发;
  • 错误表现为什么形态(事实性错误、逻辑自洽的虚假因果链、格式崩坏);
  • 模型表达的信心与实际准确率是否匹配;
  • 工程侧用什么手段能把幻觉压到可接受的水平。

本文的对比对象因此确定为两类后训练主导路径不同的大模型方案:

  • 方案A:以大规模强化学习(RL)为主要后训练手段、强调长链条推理与自我验证的推理型模型;
  • 方案B:以监督微调(SFT)为主、叠加基于人类反馈的偏好对齐(RLHF 类方法)的通用对话模型。

需要强调的是,这不是互斥的技术栈。真实产品在发布时往往从传统监督微调起步,再叠加强化学习与对齐阶段,方案A与方案B的区别是主导路径与资源投入重心的区别,而不是“有RL”和“没RL”的区别。

二、相同点:两类方案共享的四条底层规律

1. 幻觉来源同根,都源于压缩式泛化。 模型在训练过程中对语料进行压缩与重组,以便保留统计上最重要的信息。这种重组有时会产出新颖、有价值的结构(也就是所谓的“创造力”),有时则会产生并不存在的虚假因果链。两条路线的模型共享这一机制,不会因为换了后训练方式而消失。

2. 都没有内生的置信度核查系统。 模型并不真的“知道自己不知道”,它输出的是下一个 token 的概率分布。所谓“我认为有 87% 把握”这类表达,是在用户要求时由语言拼凑出来的字符串,而不是对内部置信度的读取。口头表达的信心普遍高于实际准确率,这是偏好对齐训练阶段提升“有用性”时的已知副作用——人类标注者更倾向于认可“看起来合理、语气肯定”的回答,模型也就学会了“即使不确定也要给出合理外观的答案”。

3. 输入侧的噪声会同时污染两条路线。 如果上游发生了文字识别错误、语料到得不对、检索命中了糟糕来源,模型会“正常地”输出不符合事实的结果。此时问题在数据链路,不在模型。

4. 提示欠考虑时,两者都可能给出“像程序 bug 的高性能解法”。 现存模型的行为常常出人意料但在某种意义上又自洽,这不是程序错误,而是优化目标与提问方式共同作用的结果。

三、核心差异分析

3.1 幻觉的主要来源不同

维度 方案A(强化学习主导的推理型模型) 方案B(监督微调与偏好对齐主导的通用模型)
幻觉集中区域 长链条中间步骤、隐含前提、多跳推理的桥接环节 具体事实细节、实体名称、数值、引用来源
典型错误形态 前提正确、推导流畅但结论错误的“自洽型幻觉” 事实性捏造、张冠李戴、引文不存在
可读性与格式稳定性 早期训练路径中可能出现无休止重复、可读性差、中英文混杂,需额外治理 格式与语气通常较稳定,退化多表现为“答得快但浅”
推理链的可审计性 较高,中间步骤外显,便于定位在哪一步出错 较低,通常直接给结论,错误难以定位
信心与准确率匹配 由于推理步骤显式化,用户更容易“看出不对”;但表达仍可能过度自信 语气平稳但可能掩盖不确定性,用户更难察觉
提示词敏感度 对任务分解方式、约束条件的写法较敏感 对系统提示词的人格与格式约束较敏感
主要抑制杠杆 可验证奖励设计、步骤约束、外部工具校验、抽样复核 知识库检索增强、事实约束、输出模板校验
成本与延迟结构 长输出带来更高的 token 消耗与延迟 单次响应更短,但可能需要多轮追问补足准确性

关键在于:方案A的“幻觉严重”感,很大一部分来自可见性,而不是错误率本身必然更高。长推理过程把每一个假设都摊开在用户面前,其中任何一个隐含前提站不住,都会显得像“捏造”;而方案B把过程折叠起来,只留一个自信的结论,错误反而更难被发现。

3.2 事实性任务与推理性任务上的错配

推理型模型的优势在于可分解、可验证、步骤可复现的任务,例如代码推导、数学变换、结构化抽取、方案分解。这类任务上它的“中间步骤外显”是纯收益。但换成时效性事实问答、内部制度查询、具体数字与引文确认时,长推理反而增加了幻觉面:模型可能在“认真推演”的过程中,为一个并不存在的事实构造出完整的支持链条。

通用对话模型的情况相反:事实性问答通常配合检索链路,幻觉面被检索结果收窄;但面对需要多步分解的复杂任务时,容易一步给出看似合理实则未拆解的结论。

3.3 系统提示词与行为边界的差异

一条常被忽略的原因是:系统提示词通常并不要求模型在用户未主动提问时输出置信度,而模型本身也没有置信度校准模块。这就带来两个后果:一是默认回答几乎总是肯定语气;二是用户必须自己主动索取“置信度百分比”和“信息来源”,才能把不确定性显式化。这类约束写在哪里、由谁维护,往往决定了实际体验,而不是模型基座本身。

3.4 创造力与幻觉的耦合

两条路线都存在“压缩产生新颖结构”的一面。在创意写作、头脑风暴、假设生成等场景中,这被视为能力;在事实核查场景中,同样的机制被视为缺陷。因此“幻觉抑制”不等于“创造力抑制”,需要按任务类型分别调参与分别设约束,而不是全局关小。

四、典型场景选择

倾向方案A 的场景

  • 代码生成与代码解释、算法思路推导;
  • 数学与统计推导、单位与量级校验;
  • 复杂文档的结构化抽取与字段映射;
  • 需要先分解再执行的任务编排。

倾向方案B 的场景

  • 客户咨询与产品问答,要求语气稳定、响应快;
  • 依托知识库的事实性问答,检索链路成熟;
  • 高并发、低延迟、单次输出短的在线业务;
  • 需要严格输出格式与模板合规的业务表单填充。

两条路线都不应单独承担的场景

  • 面向外部发布的严肃事实陈述、法规引用、医疗与金融结论;
  • 任何“模型输出即最终依据”的自动化决策链路。

五、选型建议(条件化)

  • 如果业务瓶颈在复杂任务的拆解质量,可优先考虑方案A,同时预留更长的延迟预算与更高的 token 成本预算;
  • 如果业务瓶颈在事实准确率与响应速度,可优先考虑方案B,并把主要工程量投在检索质量、语料治理与来源筛选上;
  • 如果团队运维与评测能力有限,可优先考虑托管化程度更高的模型服务形态,把版本管理、弹性伸缩、日志与告警交给平台侧能力(例如公有云上的模型服务、日志服务、监控告警、身份认证等通用类目),团队集中做提示词与评测集;
  • 如果任务是对外可审计的高风险输出,无论选哪条路线,都必须叠加外部校验环节,不要依赖模型自检。

六、工程侧幻觉抑制的通用做法

两条路线共享同一套抑制工具箱,差异只在配比:

  1. 检索增强与来源过滤:先保证上游语料合适,再谈模型能力。对来源做可信度分级与时效性过滤。
  2. 工具校验闭环:把可验证的子任务交给确定性工具(计算器、数据库查询、规则引擎),模型只负责组织与解释。
  3. 约束式输出与后处理:用结构化 schema 约束输出,对实体、数值、引用做程序化核对,不通过则回退或重试。
  4. 显式不确定性:在系统提示词中约定“低置信时说明依据缺失并索取更多信息”,并允许在用户要求时给出置信度与来源,同时明确这是估计值。
  5. 抽样人工复核与回归评测:建立幻觉评测集,把“事实错误率、格式合规率、拒答恰当率”纳入上线门槛。

示意性伪代码(通用流程,不含任何专有工具):

  1. def answer(question, retriever, model, checker):
  2. # 1. 检索与来源过滤:先解决“输入是否合适”
  3. evidence = retriever.search(question, top_k=5)
  4. evidence = [e for e in evidence if e.trust_score >= THRESHOLD and e.fresh]
  5. # 2. 推理与生成:无论方案A还是方案B,这一步都可替换
  6. draft, confidence = model.generate(
  7. prompt=SYSTEM_PROMPT + build_context(question, evidence),
  8. ask_confidence=True,
  9. )
  10. # 3. 外部校验:数值、实体、引用一律程序化核对
  11. problems = checker.verify(draft, evidence=evidence)
  12. if problems:
  13. return revise(question, draft, problems, retriever, model)
  14. # 4. 不确定时不硬答
  15. if confidence < MIN_CONFIDENCE or not evidence:
  16. return abstain_with_request_for_more_info(question)
  17. return attach_sources(draft, evidence)

七、迁移与上线注意事项

从方案B切到方案A(或反向切换)时,风险通常不在模型接口,而在周边链路:

  • 兼容性与成本结构:长推理输出会显著改变 token 消耗与延迟分布,容量规划、限流阈值、超时与重试策略需要重新测算;
  • 数据与语料:知识库切片粒度、召回数量、清洗规则需按新模型的上下文利用率重新调优;
  • 权限与安全:知识库的访问控制必须在检索层落地,不能依赖模型“不乱说”;涉及审计的场景要保留请求、检索结果、输出与校验记录;
  • 接口与流程:新增的校验器、回退逻辑、置信度字段属于对外契约变更,需考虑下游兼容与灰度策略;
  • 评测回归:每次更换模型版本后重跑同一套评测集,把幻觉相关指标作为回归门槛,避免“升级即退化”;
  • 可观测性:至少覆盖延迟分位、输出长度分布、校验失败率、回退率、用户反馈率;出现幻觉类投诉时可按请求链路回溯到具体环节。

八、使用边界与需要提前评估的问题

  • 不要用“模型会不会幻觉”作为选型问题,而应问“这类任务的错误形态是什么、能否被程序检出、检出后能否回退”;
  • 不要把置信度字符串当成概率;它是生成结果,不是校准值;
  • 不要在提示词里写“绝对不要编造”就认为问题解决了,缺少外部校验时,这类约束只能降低概率,不能消除风险;
  • 不要把不同方案的公开评测印象直接外推到自有业务,语料分布与提示词差异往往比基座差异影响更大。

九、总结

回到最初的疑问:为什么某些模型看起来“特别爱捏造事实”?原因不是单一的训练缺陷,而是几件事叠加——压缩式泛化本身会产生虚假因果链;偏好对齐让口头信心高于实际准确率;系统提示词默认不要求置信度;再叠加输入侧的文字识别错误、语料不合适或检索命中糟糕来源。在这个共同底座上,方案A把推理步骤外显出来,错误更容易被看见,优势在于可分解、可验证的复杂任务;方案B把过程折叠,回答更快更稳,优势在于事实问答与在线业务,但错误更难被察觉。

因此选型的关键不是寻找“不幻觉的模型”,而是判断任务的可验证性、错误形态的可检出性、以及团队是否具备校验与评测能力。在这三点之上,方案A与方案B都能成为合理选择;缺少外部校验环节时,两者都不适合直接承担对外的严肃事实陈述。

发表评论

活动