一、教程目标

本教程要帮你完成一件具体的事：为一个基于大模型的问答或生成类应用，搭建一套可落地、可验证、可审计的”事实校验与幻觉治理”闭环。最终效果是——当模型遇到自身能力边界时，系统能够明确拒答、标注不确定、降级到人工复核，而不是输出一段貌似合理却无依据的内容。

读者对象包括：

• 正在把大模型接入业务系统的开发者，需要解决”回答不可信”的问题；
• 负责线上稳定性与成本的运维、SRE 人员；
• 需要评估技术选型与风险边界的技术负责人；
• 需要为 AI 输出结果承担业务责任的企业用户。

二、为什么必须先承认能力边界

主流大模型服务方在自己的条款与产品说明里普遍会写上类似”仅供娱乐””不要将其作为事实来源””输出不一定是真实内容”的表述。这些不是法律模板的客套，而是对模型工作机制的准确描述。能力边界可以归纳为六类：

1. 时效性事实无法自证。模型知识来自训练语料的时间切片，此后的政策调整、价格变化、版本号更新、组织变动它无从得知。
2. 精确计算不可靠。模型本质是概率生成器，多位数运算、单位换算、日期区间与金额汇总容易出错，且错误具有隐蔽性。
3. 缺少你的私有上下文。你的表结构、内网域名、合同编号、工单历史都不在通用语料中。
4. 引用不可溯源。它可能生成格式完全正确、内容却对不上的出处。
5. 责任主体不是模型。输出一旦进入业务流程，责任由部署方承担，免责声明不能转移责任。
6. 输出非确定。同一输入在不同时间、不同版本下可能得到不同结论，这对审计与回归测试不友好。

工程上的正确结论不是”想办法把模型调得更准”，而是把模型当作一个能力有限、必须外部约束的组件来使用。下面按步骤展开。

三、适用场景

场景类型	错误容忍度	建议做法
营销文案、代码注释、口语化改写	高	只需基础约束与人工抽检
内部知识问答、工单辅助	中	检索增强 + 引用校验 + 不确定时拒答
财务核算、合规审查、医疗与法律建议	低	结构化输出 + 规则校验 + 强制人工复核
面向公众的实时资讯摘要	中低	强制引用原文 + 时效性标注 + 发布时间过滤

四、前置准备

• 模型调用能力：一个可通过身份认证方式调用的大模型服务，具备 API 访问凭证管理、并发配额与超时重试等基础能力。若在云上使用，通常需要在云服务控制台（例如百度智能云控制台的对应功能页面）先开通相关能力，并在身份认证功能中创建独立的访问凭证，遵循最小权限原则。
• 知识检索能力：向量检索服务或自建向量索引，用于把私有文档转化为可召回的证据片段。
• 存储与日志：对象存储用于存放原始文档与解析结果，日志服务用于留存每次请求的完整调用链，便于事后追溯。
• 监控告警：用于统计幻觉率、拒答率、延迟与成本，并在指标劣化时通知责任人。
• 评测集：这是最容易被忽略却最关键的前置项。建议人工标注 100～300 条真实业务问题，每条包含”标准答案要点””必须引用的文档片段””应当拒答的边界问题”。没有评测集，后续所有优化都只能靠感觉。

五、实施步骤

步骤 1：给任务做风险分级，决定校验强度

做什么：把业务中的生成任务按第二节的六类边界逐条对照，标记为”可容忍错误”与”不可容忍错误”两级。

为什么：校验不是免费的。逐条事实校验会增加延迟与调用成本，如果把所有请求都用最严策略，成本和体验都会崩塌。分级的作用是让治理资源集中在高风险环节。

注意：分级结论要写成文档并版本化，后续所有阈值配置都从这里推导。

步骤 2：搭建检索增强基线，把”记忆”换成”查阅”

做什么：把私有文档切分、向量化、建立索引，在生成前先检索证据片段，再要求模型只依据证据作答。

为什么：模型不知道你的私有信息，但检索可以把答案的依据放到上下文里，让”事实”从模型的参数记忆转移到可审计的外部文档。这是把不可信生成转为可验证生成的前提。

注意：

• 切分粒度要兼顾语义完整与召回精度，过小会丢失上下文，过大会稀释关键信息；
• 索引需保留文档标识、章节位置、生效时间等元数据，校验阶段要用到；
• 带时效性的文档必须存版本号与生效日期，否则无法回答”现在的规定是什么”。

步骤 3：用结构化输出约束把答案拆成”结论 + 证据”

做什么：要求模型输出符合固定结构的 JSON，字段至少包含结论、支撑引用的片段标识、以及无法确认时的问题清单。

为什么：自由文本无法自动校验。一旦结论与证据被拆成结构化字段，就能用程序逐条比对，而不是靠人眼判断。

注意：结构化约束应通过明确的输出模板或模式定义来表达，并配合一次解析失败重试；重试仍失败就走降级分支，不要把非法文本透传给业务方。

步骤 4：实现事实校验层

做什么：对模型输出的每条结论做三类校验。

1. 引用校验：结论中标注的证据标识是否真实存在于本次检索结果中，是否存在伪造标识。
2. 一致性校验：把结论拆成原子断言，逐条与证据片段比对，判定为”支持/矛盾/无关”。可用规则匹配（关键实体、数字、否定词）与语义相似度阈值组合判断。
3. 计算校验：所有数值结果一律外部化。让模型只输出表达式或参数，由确定性计算引擎执行，模型不参与算术。

为什么：这是整个方案的核心。它决定了系统是”看起来有据”还是”真的有据”。

注意：否定词与量词极易被忽略，”不允许”被判定为”允许”是典型错误，规则层必须单独处理否定语义。

步骤 5：设计置信度阈值与兜底路径

做什么：基于校验结果计算风险分，并映射到四种处置：正常返回、附加不确定说明后返回、拒答并给出补充信息指引、转人工复核。

为什么：模型最强的能力之一是”知道自己不知道”的表达，但它本身不可靠。阈值机制把这项判断交给可测量、可调整的程序逻辑。

注意：阈值的初始值应从评测集离线调优得出，上线后持续观察拒答率。拒答率过高说明检索或阈值有问题，过低说明校验形同虚设。

步骤 6：建立离线评测与回归测试

做什么：每次修改提示词、更换模型版本、调整检索参数或阈值后，都在评测集上跑一遍，记录事实一致性率、引用命中率、拒答准确率和平均延迟。

为什么：模型行为非确定，凭单次体验判断质量变化毫无意义。评测集是把主观感受变成可比数字的唯一手段。

注意：评测集要留出长期不更新的”冻结子集”，用于检测是否因过拟合调参而虚假提升。

步骤 7：接入线上监控与告警

做什么：为每次请求记录统一的追踪标识，串联检索、生成、校验三个阶段的关键指标；对幻觉率、拒答率、结构化输出失败率、P95 延迟设置告警阈值，并按比例采样做人工抽检。

为什么：离线评测只能覆盖已知问题。线上分布会漂移，只有持续观测才能及时发现知识过期、文档更新未重建索引等隐性故障。

注意：日志中的用户输入与模型输出可能含敏感信息，需按合规要求做脱敏与留存周期管理。

步骤 8：补齐合规与责任兜底

做什么：在面向用户的界面上明确标注内容由 AI 生成、可能不准确；对高风险场景保留完整审计链路（输入、检索证据、模型输出、校验结论、处置动作）；把免责声明与业务流程的责任划分写入内部规范。

为什么：技术校验能把错误率降到很低，但不能降到零。兜底机制处理的是”残余错误一旦发生”的情形。

六、配置说明

以下为业界通用参数，具体含义与取值范围以你所使用服务的文档为准：

配置项	含义	取值逻辑与风险
温度参数（temperature）	控制采样随机性	事实类任务取低值以提高稳定性；过高会增加发散与幻觉概率
核采样（top_p）	控制候选词概率截断范围	与温度配合使用，通常调整其一即可，同时大幅调整易导致输出不稳定
最大输出长度	限制生成长度	过小会截断导致内容缺失，过大会放大错误累积与成本
检索条数	送入上下文的证据片段数	过多稀释关键证据并推高成本，过少导致召回不足，需结合评测集调优
检索相似度阈值	低于阈值视为无有效证据	直接决定拒答倾向，是拒答率的主要调节旋钮
超时与重试	单次调用失败后的恢复策略	需设置总时长上限，避免重试放大延迟；重试应使用退避策略
校验风险阈值	触发人工复核的分数线	由离线评测与业务错误成本共同决定

七、示例说明

以下为通用伪代码，仅示意流程结构，不含任何厂商专有命令或工具名：

def answer(question: str) -> dict:
    # 1) 检索证据，低于阈值的片段直接丢弃
    evidence = retrieve(question, top_k=5, min_score=RETRIEVAL_THRESHOLD)
    if not evidence:
        return {"status": "insufficient_context", "answer": None}
    # 2) 受约束生成：只允许基于证据作答，必须给出证据标识
    prompt = build_prompt(question, evidence, require_citation=True)
    raw = llm_generate(prompt,
                       temperature=0.1,
                       max_output_tokens=1024,
                       response_format="json_schema")
    draft = parse_structured(raw, retries=1)      # 解析失败走降级
    if draft is None:
        return {"status": "degraded", "answer": None}
    # 3) 逐条校验：引用真实性 + 断言一致性
    report = verify(draft, evidence)
    # 4) 数值一律外部化计算，不信任模型算术
    for expr in draft.computations:
        expr.value = deterministic_eval(expr.expression)
    # 5) 风险分级处置
    if report.unsupported_ratio > UNSUPPORTED_LIMIT or not report.citations_valid:
        return {"status": "needs_review", "answer": draft.answer, "risk": report.score}
    if report.score > CONFIDENCE_LIMIT:
        return {"status": "uncertain", "answer": draft.answer,
                "notice": "以下内容未经充分核实，建议核对原始资料"}
    return {"status": "ok", "answer": draft.answer, "citations": report.citations}

开发环境与生产环境可以共用这套结构，差别在阈值：开发环境放宽阈值以便快速迭代，生产环境收紧阈值并开启强制人工复核队列。

八、结果验证

按下列验收清单逐项确认，才算完成接入：

• 用评测集中的”应拒答问题”测试，系统能稳定拒答而不是编造；
• 用”需引用问题”测试，每条结论都能回溯到真实存在的证据片段；
• 构造带算术的业务问题，结果由计算引擎给出且与手工核算一致；
• 构造包含否定语义的问题，一致性校验未出现极性反转；
• 输出结构解析成功率在评测集上达到可接受水平，失败时能进入降级分支而非报错给业务方；
• 更新知识文档后重新索引，旧版本答案不再被检索到；
• 监控面板上幻觉率、拒答率、P95 延迟与单次调用成本均可见并有告警规则。

九、常见问题与排查

• 答案通顺但引用对不上：生成未受强约束，或校验只做存在性检查而未做一致性判定。排查方向是检查提示词是否真正限制了证据范围，并补充分句级比对。
• 该拒答时强行作答：检索阈值过低，或校验结果未参与处置决策。先提高检索阈值，再确认风险分确实接入了分支逻辑。
• 拒答过多、体验差：阈值过严或检索召回不足。分别统计”无有效证据”与”证据不足但被拒”的比例，前者查索引质量，后者调阈值。
• 结构化输出频繁解析失败：输出模式描述过于复杂或约束冲突。简化结构、减少嵌套，并在解析层增加一次容错修复。
• 长文档答案遗漏中段信息：上下文过长导致关键信息被稀释。改进分块与重排策略，必要时分段问答再汇总。
• 时效性问题答旧规定：检索未过滤生效时间，或索引未随文档更新重建。为文档加版本与生效日期，并在检索时按时间过滤。
• 数值与单位错误：模型参与了计算。把所有运算改为输出表达式后交由确定性引擎执行。
• 同一问题两次答案不同：采样随机性所致。事实类任务降低随机性参数，并对关键结论做多次采样取一致性结果。

十、优化建议

• 分层路由：先用小规格模型做意图识别与信息抽取，只对复杂推理调用大规格模型，可在保证效果的前提下明显降低成本。
• 缓存复用：对高频问题与检索结果做缓存，注意为带时效性的内容设置较短的失效时间。
• 检索重排：粗召回后增加精排环节，用更小的候选集提升关键证据在上下文中的权重。
• 稳定性设计：为模型调用设置总超时与熔断，检索不可用时明确返回”暂时无法核实”而不是回退到纯生成模式。
• 可维护性：提示词、阈值、评测集、索引构建脚本全部纳入版本管理与灰度发布，任何变更都能回滚。
• 安全与成本：输入输出双向做内容过滤与敏感信息脱敏；按业务维度统计调用量，为异常增长设置配额与告警。

十一、总结

大模型服务方声明”仅供娱乐””不是真相来源”，本质上是在告知工程使用者：生成能力不等于事实能力。本教程给出的路径是把它当作需要外部约束的组件：先做任务风险分级，再用检索增强把依据外置，用结构化输出把结论与证据解耦，用程序化校验把”看起来对”变成”可证明对”，用阈值与人工复核兜住残余风险，最后用评测集和线上监控让这个闭环持续有效。

后续可以继续深入的方向包括：检索质量评估与文档治理规范、领域小模型与通用大模型的混合编排、以及面向审计的全链路可追溯设计。若使用百度智能云等云平台承载，建议把上述能力对应到通用的对象存储、日志服务、监控告警与身份认证等类目上，按最小权限原则配置访问凭证，并让评测与监控指标与业务告警体系打通。