logo

幻觉作答与拒答策略怎么选

作者:很酷cat2026.11.16 10:45浏览量:0

简介:当系统不知道答案时,是自信补全还是明确拒答,会直接决定高风险场景的可用性。本文对比人类在未知问题上的沉默,与语言模型常见的幻觉作答,并比较直接生成、检索后再答、显式拒答三类策略的差异、适用边界与接入注意事项,帮助技术负责人做出条件化选型。

对比背景:未知并不等于可以补全

本文对比的对象有两层。第一层是认知主体:人在面对陌生缩写、个人事实或缺少依据的问题时,通常会保持沉默或直接说不知道;语言模型则常把“生成下一个合理片段”当成“给出正确答案”。第二层是工程策略:在同一类生成系统上,可以采用直接生成、先检索再生成、或把“我不知道”设计成合法输出。选型要回答的不是哪一种绝对更好,而是在什么证据条件、什么风险等级下,哪一种失败方式更可接受。

原始讨论里的一个关键现象可以抽象为:给模型一个并不存在或模型并不掌握的缩写,它仍可能输出多个听起来专业、彼此不一致、且带有解释的答案;即便提示明确允许只回答已知信息,模型也可能连续给出错误日期,直到引入额外检索与更长推理后才承认未知。这说明幻觉不是偶发文风问题,而是生成式目标与事实约束没有对齐时的系统性行为。今天若有人用这类输出做医疗、合规、财务或人事决策,错误会从“答错一道题”变成真实损失。

对象定义

人类拒答。 人依赖记忆、经验和社交约束。遇到完全陌生的符号时,多数人没有可调用的模式,也就不会编出一串自洽术语。拒答的成本主要是面子和效率,收益是避免传播假事实。人也会记错、也会臆测,但在公开、无利益驱动的当场提问中,不知道往往表现为沉默,而不是连续制造三个互斥解释。

模型幻觉作答。 语言模型的训练目标是在上下文中生成高概率续写。当问题形式完整、领域词汇熟悉时,模型会用常见构词、机构命名习惯或邻近概念填补空白。输出可以语法正确、语气确定、甚至附带“在某些语境下”这类限定语,但限定语本身也可能是编出来的。幻觉的严重性在于:错误与正确使用同一套自信表达,调用方若只看流畅度,无法区分。

拒答与检索增强策略。 拒答不是把模型关掉,而是把“证据不足”定义为成功结果之一:返回未知、返回证据缺口、或返回需要人工确认。检索增强则是在生成前引入外部材料,让回答受可核验证据约束。两者可以组合:检索命中且一致时作答,未命中或来源冲突时拒答。

相同点

三者都在解决同一个信息缺口:问题已被提出,但内部知识不足以支持唯一答案。

  • 目标相近:都希望减少错误决策,而不是单纯增加文本长度。
  • 都受上下文影响:提示若暗示“必须给出缩写全称”,会提高编造压力;提示若允许未知,人类更容易停住,模型仍可能忽略该许可。
  • 都存在残余错误:人会误记,检索会命中过期或无关文档,拒答策略若阈值过严会漏掉本来可回答的问题。
  • 都需要评测:不能靠单次演示判断能力,要用未知题、易混淆题、高风险题和允许拒答的提示分别统计。

共同点说明:不能把“模型偶尔说不知道”理解成已经解决幻觉,也不能把“人从不胡说”当成绝对前提。对比的重点是失败模式是否可检测、可约束、可审计。

核心差异

生成机制

人在没有记忆线索时,缺少可继续展开的内部模式,行为自然落到拒答。模型即使没有事实,仍有强大的语言先验:缩写会被拆成常见单词,组织名会被套进行业模板,个人日期会被分布中的高概率月日替代。因此模型的默认失败是“完成任务”,人的默认失败是“完不成任务”。在客服、搜索摘要、报告生成里,默认完成会显得好用;在事实核验里,默认完成就是风险源。

错误形态

人类未知通常是空答案或短句否定,下游容易分支处理。幻觉则呈现三种更难拦截的形态。

  1. 多解并存: 同一问题连续给出互斥全称,每个都像行业术语。
  2. 近邻偷换: 用读音、字形或业务相近的真实实体解释错误缩写,并补上并不存在的别名。
  3. 条件式虚构: 用“在某些语境下”包装一个从未被问到的缩写,使错误看起来更谨慎。

第三种尤其危险,因为语气上的谨慎会被误当成事实边界。评测时不能只看是否出现“可能”“有时”,还要看限定对象是否与问题一致、是否有来源。

对提示的服从

明确写出“若不知道只回答未知”,是在给模型一个低成本出口。实践中,这个出口不一定被采用:模型仍可能给出多次不同错误,直到检索或更长的内部检查改变生成路径,才承认不知道。因此提示词是必要约束,不是充分约束。人类听到“可以答不知道”时,行为会立即简化;模型还要与“必须有帮助、必须完整”的先验竞争。

时延、成本与稳定性

直接生成时延低、调用简单,但未知题上的错误率不可由流畅度反映。检索后再答增加索引、权限和引用拼接成本,时延上升,却把一部分错误变成“无证据”。显式拒答几乎不增加推理步数,但会提高“未解答”比例,产品需要备用流程。不能假设更长思考一定更正确:只有当额外步骤真正接触可核验材料或执行可检查的一致性约束时,时延才换来可靠性。具体耗时、命中率都应由自己的评测集测量,不宜引用演示中的单次数秒作为能力指标。

安全、权限与审计

幻觉会把不存在的组织、不存在的别名写进日志和下游工单,后续系统会把文本当结构化事实入库。拒答和引用策略便于审计:每条回答都能标记为“有证据 / 证据冲突 / 无证据”。若回答涉及个人生日、内部代号等非公开事实,还应先做权限判断:无权限时应拒绝访问,而不是用公开语料猜测。加密、隔离和审计日志解决的是“谁能看、事后能否追溯”,不能替代“没有证据就不生成事实”。

运维与成本结构

直接生成的资源成本主要是推理;人力成本会转移到事后纠错、客诉和错误决策回滚。检索方案增加索引更新、文档权限同步和引用失效处理。拒答方案增加人工兜底队列。长期成本取决于错误的业务放大系数:低风险文案可以容忍偶尔补全;高风险字段则应把拒答当成更便宜的失败。

对比表

维度 人类当场拒答 直接生成 检索后再生成 证据不足则拒答
未知时的默认行为 沉默或否认 补全看似合理的答案 受材料约束,仍可能过度概括 返回未知或证据缺口
错误是否易发现 较易,答案常为空 难,错误与正确同形 中等,可核对引用是否支持结论 易,状态码或标签明确
提示“可以不知道” 通常立即生效 经常仍被忽略 取决于检索是否为空 作为主路径设计
接入复杂度 不涉及系统改造 低 中到高,含索引与权限 中,需定义拒答协议
时延与资源 即时 较低 更高 接近直接生成
适合风险 现场讨论 草稿、灵感、低风险改写 有权威文档的问答 事实字段、高风险决策
主要边界 人也会误记 不能当事实源 文档脏、旧、越权时仍会错 拒答过多影响完成率

典型场景怎么选

内部知识问答。 答案应来自制度、接口说明或工单,而不是参数记忆。更稳妥的是检索加引用,未命中则拒答,并给出可继续查找的文档范围。不要把模型对缩写的“常识补全”写入知识库。

面向外部用户的事实查询。 若问题是价格、资质、身份、医疗或法律结论,错误的社会成本高于未回答。应优先拒答或转人工,并避免输出多个候选全称让用户自己挑。多个候选看似透明,实则会把编造清单交给用户。

编程辅助与文本改写。 任务评价标准是结构、编译或风格,不是世界事实。直接生成通常更合适,但仍要对配置项、命令和默认参数做校验,防止模型发明不存在的字段。

个人或未公开事实。 例如生日、内部项目代号。模型不应靠分布去猜。正确行为是未知;若数据只在受控系统中,还应先鉴权再查询,查无记录与无权限要分开返回,避免用“猜一个日期”掩盖权限失败。

决策摘要。 可以生成对照表和风险列表,但每个事实句需要证据指针。没有指针的句子应降级为待核实,而不是混在结论里。

选型建议

可以用三条条件做判断,而不是给单一赢家。

  1. 失败是否可逆。 草稿可重写时,直接生成的速度优势明显;一旦写入数据库、合同或诊断建议,应把无证据拒答设为默认。
  2. 是否存在可引用的权威来源。 有稳定文档时,检索约束优先于纯参数记忆;文档缺失时,检索不会凭空变正确,此时拒答优于“根据通用经验”。
  3. 调用方能否消费结构化状态。 如果上游只接受一段自然语言,拒答会被人改写成猜测。接口应同时返回状态:answered、unknown、conflict、unauthorized,以及可选的引用列表。自然语言只是展示层。

一个简化的返回约定可以是:

  1. {
  2. "status": "unknown",
  3. "answer": null,
  4. "evidence": [],
  5. "reason": "no_supporting_source"
  6. }

当且仅当 evidence 中的材料能推出 answer,status 才应为 answered。来源互相矛盾时用 conflict,而不是折中编一个中间说法。这样下游可以用规则拦截,而不是靠阅读语气。

迁移与使用注意

从“总是给出一段话”迁到“允许未知”时,最容易低估的是产品与数据链路,而不是模型本身。

  • 接口兼容: 旧客户端把空答案当故障。需要版本化协议,明确 null 与错误码的区别,避免重试把拒答又打成一次生成。
  • 评测集: 单独建立未知题、近邻干扰题、权限题。指标至少包括:误答率、拒答率、引用支持率。不要只用答对率,否则模型会靠胡猜抬分。
  • 提示与策略一致: 提示允许未知,但奖励或排序仍偏好长答案时,幻觉会回来。若使用人工偏好或自动评分,应把“无证据却给出确定实体”判为失败。
  • 检索权限: 索引若混入无权限文档,模型会用合法口吻泄露不该看的内容。权限过滤要发生在生成之前。
  • 缓存: 不要缓存一次错误猜测。未知结果可以短缓存,事实结果要绑定证据版本,文档更新后失效。
  • 日志: 记录问题、状态和证据标识,避免把用户隐私和错误猜测长期留在可训练数据里,否则错误会被巩固。
  • 人机分工: 拒答队列要有人处理,否则业务会要求模型“无论如何给个数”。应规定哪些字段允许人工猜测,哪些字段必须保持空白。
  • 回归: 更换模型或调整采样后,用同一未知集复测。更强的流畅度常常伴随更强的编造能力,不能默认升级即更少幻觉。

总结

人类在陌生问题上的优势,不是知识更多,而是缺少模式时会停止;语言模型的风险,是没有事实时仍能生成多个互斥、语气确定、甚至带虚假限定的答案。直接生成适合可逆的草稿工作;有权威材料时,检索约束能把一部分幻觉变成可核对的引用;证据不足或无权限时,显式拒答比任何看似谨慎的补全都更安全。选型应看失败能否被状态码发现、证据是否真能支持结论、以及错误进入决策后的放大成本。把“我不知道”设计成一等输出,并让评测惩罚无来源的确定答案,才是控制幻觉的工程路径,而不是指望提示里多写一句免责声明。

发表评论

活动