logo

大模型幻觉评估:准确率与错误率之别

作者:很酷cat2026.11.16 10:46浏览量:0

简介:读者将分清“答对率”和“幻觉错误率”并非同一指标,理解拒答与胡编在风险上的差别,并掌握训练激励、评测口径与上线策略如何配套选择。

本文对比的是两类看待与衡量大语言模型幻觉的方法:一类以整体准确率为中心,另一类以错误回答率及是否允许弃答为中心。前者把“答对了多少”当作主要成绩;后者把“不该答时有没有乱答”当作主要风险。原始讨论来自一场面向研究与工程受众的技术分析,核心判断是:幻觉往往不是神秘的架构故障,而是标准训练与评测激励下可以预期的行为。下面按定义、共同点、差异、场景与落地注意展开,便于技术负责人和架构师做条件化选型,而不是做绝对化结论。

对比背景

高风险问答、知识检索辅助和内部知识库场景里,模型会被问到训练分布之外、公开资料不足或本身就不存在标准答案的问题。此时模型面临三种互斥结果:回答正确、回答错误、明确表示不知道。若评测只奖励“看起来答对”,模型会倾向于在不确定时仍给出具体说法,因为猜对有分、弃答通常不得分,猜错与弃答在计分上常常被同样对待,甚至猜错在抽样统计里偶尔被记成“有回答”。

一个直观对照是:向人提出一个无意义缩写,现场听众通常保持沉默,而语言模型往往仍会生成若干听起来合理、实则无法核验的解释,甚至把相近缩写张冠李戴。另一类测试是询问不在公开资料中的个人事实,并在提示里明确允许只在知道时作答;部分系统仍会给出多个互相矛盾的日期,只有在额外检索与更长推理之后才承认未知。这说明问题不只是“偶发口误”,而是默认策略偏向填充答案。对可能进入决策链路的信息,错误的自信陈述比空白答案更危险。

两个对象分别是什么

准确率导向评估把一批题目上的正确比例作为主指标。它回答的问题是:在这套题上,系统最终输出与参考答案一致的比例有多高。它适合衡量封闭题、有标准答案、且“必须给一个答案”的任务,例如选择题批改、固定格式抽取在标注完整时的命中情况。

错误率与弃答导向评估把幻觉主要定义为不应当确信时仍给出错误具体内容。它同时统计三类结果:正确、错误、弃答或拒答。真正与幻觉对齐的是错误率,而不是“1减去准确率”。同样是八成准确,剩下两成若全是错误陈述,幻觉很重;若全是“信息不足、无法判断”,则幻觉很轻,只是覆盖率较低。弃答不是失败的同义词,而是一种可设计的安全行为。

二者都服务于“让模型更可用”,但优化目标不同:一个压低漏分,一个压低有害的假具体性。

相同点

两类方法都依赖题目集、参考答案或可核验标准,都受题目分布影响:若测试集几乎都是模型见过的常识,准确率会偏高,错误率也会被掩盖。二者都需要区分任务类型。封闭生成、开放事实、多跳推理和工具调用,不能用同一条分数线横向比较。二者也都承认提示词可以改变行为:明确允许“不知道”会提高弃答,但不自动保证弃答校准,即模型在真正不知道时弃答、在知道时仍回答。

从系统角度看,它们都只是评测层。训练目标、采样方式、是否接入检索、是否要求引用,都会改变同一模型在两类指标上的表现。因此不能把某一版排行榜分数直接当成线上幻觉风险。

核心差异

计分规则。准确率通常把错误与弃答都算作未得分,模型的理性策略是在有一定猜中概率时继续猜。错误率导向则对错误单列惩罚,对合规弃答不惩罚或只计覆盖率损失。激励一变,同样的参数模型会表现出不同的“敢说程度”。

与幻觉定义的对齐程度。幻觉的工程危害主要来自错误内容被当成事实使用,而不是来自模型沉默。准确率上升可能同时伴随更强的编造;错误率下降才直接减少胡编。若产品只公布准确率,读者无法判断剩余失败是“我不知道”还是“我说错了”。

对架构归因的差异。把幻觉 solely 归结为某一代网络结构缺陷,会把资源投向无边界的换模与加参数。激励视角则优先改评测:二元对错、禁止空答、只比准确率的榜单,会系统性鼓励猜测。结构、数据与解码仍然影响事实能力上限,但在上限之内,报不报未知,很大程度是奖惩塑造的。

可观测信号。准确率是一个数,便于排序。错误率需要额外标注“错”与“弃”,还要约定何种表述算弃答,例如“无法确定”“资料不足”,而不是用另一个错误专名冒充谨慎。校准还要看置信与结果是否一致:高置信错误比低置信错误更应计为严重幻觉。

业务副作用。压错误率往往提高拒答,用户会感到“模型变笨”;压准确率外观分数往往降低拒答,用户会感到“什么都能答”,但抽查成本上升。选型不是选一个永远更高的分数,而是选可接受的拒答比例与不可接受的错误类型。

对比表

维度 准确率导向 错误率与弃答导向
主要问题 答对比例 不该答时是否仍给错误细节
三种结果 错误与弃答常被合并为失败 正确、错误、弃答分开
与幻觉关系 间接,易高估安全性 直接对应有害胡编
模型理性行为 不确定时倾向猜测 不确定时倾向弃答或求证
优点 题集封闭时简单、可比 风险更可见,利于高风险上线
局限 掩盖拒答策略 标注更贵,覆盖率可能下降
适用 有标准答案且必须作答 开放事实、决策辅助、未知较多
误用 用准确率宣称“已消除幻觉” 把一切拒答都当成质量提升

典型场景怎么选

开发联调、格式转换、代码骨架等“错了容易看出来、且必须有一份草稿”的任务,可以仍以任务完成率和准确率为主,同时单独抽查事实类句子,避免用草稿指标代替知识指标。

客服政策解释、医疗或金融信息转述、内部制度问答等下游会采信模型原句的场景,应把错误率、高置信错误数和是否给出可核验依据放在准确率之前。允许并鼓励“不知道”,再用人或检索补齐,通常比提高表面答全率更稳妥。

检索增强可以缩小未知范围,但不能替代计分改革:若检索无命中仍按准确率考核,模型仍可能用参数记忆补一句。更一致的做法是:无足够证据则弃答,有证据则回答并保留证据边界。

团队运维能力有限、又必须快速上线时,可优先把评测集改成三类标签,并在网关层对低证据请求返回固定拒答模板;不必先更换底座模型。若题集本身几乎没有未知题,则应先补“无答案题”和“易混淆专名”,否则两类指标都会失真。

选型建议

若失败的主要代价是“没给出可用草稿”,准确率与完成率仍然有用,但不要把它解释成幻觉水平。若失败的主要代价是“错误事实被执行或对外发布”,应以错误率、弃答合理性和严重错误占比为主指标,准确率降为覆盖能力的辅助指标。

条件化判断可以写成:在答案空间封闭、错答可自动校验时,准确率足够指导迭代;在答案空间开放、错答难以当场发现时,必须把弃答当作正确行为的一种,并单独考核幻觉。不存在“只优化准确率就能消除幻觉”的普遍结论,也不存在“拒答越多越好”的普遍结论。拒答若发生在模型明明掌握且证据充足的问题上,会损害可用性,应按校准误差而不是按幻觉来处理。

如在企业云上建设评测与灰度,可使用通用的日志、监控与对象存储保存题目、模型输出和人工判定,按版本对比错误率与弃答率,而不把单一准确率作为发布门禁。百度智能云一类的通用计算与观测能力可以承载这套流水线,但指标定义仍应由业务风险决定,而不是由平台默认榜单决定。

迁移与使用注意

从准确率门禁迁到错误率门禁时,先冻结题目与判定口径,避免同时改模型导致无法归因。明确弃答的字面标准,防止模型用模糊正确的空话绕过“错误”标签。对历史数据重新三分标注,否则新旧分数不可比。

提示中加入“不知道可以说不知道”只是必要非充分条件。若线上奖励、缓存命中或人工抽检仍只看“有没有答案”,策略会回到猜测。检索、引用和权限也要一起改:无权限资料不得用猜测填补;有权限时也不应把检索片段之外的细节说成事实。

稳定性方面,弃答率会随温度、系统提示和工具超时波动,发布时要固定这些参数再比错误率。兼容性方面,下游若假设始终有结构化答案,需要为拒答增加显式状态码或字段,避免把拒答解析成空字符串后被当成另一种幻觉。

不要编造校准阈值或声称某一参数能消除幻觉。实践中应在自有题集上观察:提高弃答后,高严重度错误是否下降,以及关键业务路径的人工补答成本是否可接受。

示意:三分统计而不是只算准确率

下面用伪代码说明评测汇总。它不依赖任何厂商接口,只表达口径。

  1. for item in eval_set:
  2. out = model(item.question, allow_abstain=True)
  3. label = judge(out, item.reference) # correct | incorrect | abstain
  4. counts[label] += 1
  5. accuracy = counts["correct"] / n
  6. error_rate = counts["incorrect"] / n
  7. abstain_rate = counts["abstain"] / n
  8. # 幻觉主指标用 error_rate,不用 1 - accuracy

若两个版本准确率同为 0.8,版本甲错误率 0.2、弃答率 0,版本乙错误率 0.05、弃答率 0.15,则甲的幻觉风险更高,尽管准确率相同。这正是“用准确率衡量幻觉”这一常见误解的数量形式。

总结

幻觉评估的关键分界,不是两个模型品牌谁分更高,而是你把“没答”算成失败,还是把“答错”算成失败。准确率衡量覆盖与命中,适合必须作答且可自动判分的任务;错误率配合弃答率衡量胡编,适合未知多、错答代价高的任务。二者目标相通,都希望输出有用,但激励相反时行为会分叉。选型时先写清失败代价,再定主指标,最后让训练奖励、提示、检索和发布门禁与该指标一致。这样,减少幻觉就从口号变成可复核的评测改造,而不是只更换一个更高的准确率数字。

发表评论

活动