大语言模型知识更新方案的评测方法与维度

一、评测概述

大语言模型在预训练完成后，其内部参数基本固化，模型所掌握的知识也停留在训练数据的时间与范围边界内。当业务需要模型掌握新的领域知识、更新的行业事实或企业内部私有数据时，就产生了“后续知识更新”的迫切需求。业界普遍认可的两条主要技术路线是：一是不改动模型既有参数的检索增强生成方案，即在推理时从外置知识库检索相关内容，与问题一起提供给模型作为上下文；二是直接调整模型内部参数的监督微调方案，通过训练数据改写模型权重以“内化”新知识。

这两条路线并无绝对的优劣之分，其适用性高度依赖于知识更新频率、知识规模、时效要求、幻觉容忍度、算力预算和长期维护成本。因此，本文并不急于给出“哪种方法更好”的结论，而是构建一套可操作的评测框架，帮助读者在真实业务条件下验证不同方案的适配程度。本文适合正在做技术选型的架构师、负责落地评测的算法与工程团队，以及需要评估投入产出的技术负责人阅读。

二、评测目标

本次评测重点回答以下几个问题：

• 在给定的知识更新场景下，检索增强方案与参数微调方案分别能解决什么问题、无法解决什么问题；
• 每种方案在功能完整性、回答准确性、幻觉控制、性能开销、稳定性和安全性上的表现边界在哪里；
• 不同方案的资源投入与维护成本如何，长期运行后的可维护性差异有多大；
• 在具体业务约束下（如知识更新频率高、数据敏感、算力有限），应重点关注哪些指标、优先选择哪条路线。

需要强调的是，评测的目标不是判定“谁绝对更好”，而是明确“在什么条件下、为解决什么问题、以什么代价，某方案更为合适”。

三、评测对象说明

评测对象一：不改变模型参数的检索增强生成方案。 其核心思路是在推理阶段引入外置知识库，通过检索把与用户问题相关的片段召回，并作为上下文注入模型输入，让模型基于这些新增知识作答。它的特点是知识存放在模型外部、可随时增删改，更新成本低、见效快。

评测对象二：直接改变模型内部参数的监督微调方案。 其核心思路是用标注样本对模型权重进行更新，使新知识“写入”模型内部。它被认为更适合让模型掌握较为稳定、大量的领域知识，但会引发两类典型问题：一是灾难性遗忘，即微调覆盖了预训练阶段习得的知识，导致模型在原有能力上出现退化；二是微调引发的知识冲突与幻觉，表现为旧知识与新知识的边界模糊，模型在相近或矛盾的知识点上难以给出准确回答。

理解这两类对象的本质差异，是后续所有评测维度设计的出发点。

四、评测维度设计

针对上述两类方案，建议从以下维度构建评测框架：

评测维度	关注重点	检索增强方案关注点	参数微调方案关注点
功能完整性	是否覆盖典型问答流程	检索、召回、上下文拼接、拒答能力	训练流程、数据构造、版本管理
准确性	回答是否符合预期	检索命中率、上下文相关性、生成忠实度	新知识掌握度、原知识保持度
幻觉控制	是否稳定避免编造	检索不到时的拒答与澄清	新旧知识冲突下的表现
性能表现	响应时间、吞吐、资源消耗	检索延迟、上下文长度对推理开销的影响	训练成本与推理成本
稳定性	长时间、异常输入下的表现	检索服务波动时的降级能力	不同批次训练后的表现一致性
易用性	接入与更新流程复杂度	知识库构建与维护难度	数据准备与训练调参难度
安全性	权限、数据隔离、审计	知识库访问控制、检索越权风险	训练数据泄露与模型窃取风险
可观测性	日志、指标、问题定位	检索链路可追溯性	训练过程可解释性
成本结构	资源、人力、迁移、运维成本	知识库存储与检索算力	训练算力与反复迭代成本
场景适配度	与业务的匹配程度	知识高频更新、事实查询类场景	知识相对稳定、风格定制类场景

五、评测环境与前提

在动手评测前，需明确以下前提，以保证结论可比、可复现：

• 知识更新特征：明确知识更新的频率（每日、每周还是一次性）、规模（条目数量）、类型（事实性知识、领域术语、问答对）与时效敏感度；
• 数据条件：准备覆盖典型问题与边界问题的评测集，包含应能答对的问题、应拒答的问题、以及新旧知识冲突的问题；
• 资源边界：记录可用的算力、显存、存储、并发规模与网络条件；
• 调用方式：统一推理接口形态、上下文长度上限、批量与并发设置；
• 基线设置：在未做任何知识更新的原始模型上记录基础表现，作为对照。

六、评测方法

建议按如下流程开展分维度验证：

1. 明确评测问题：先确定本次评测要回答的核心问题，避免堆砌过多无法指导决策的指标；
2. 设计测试样本：构建包含正常问题、边界问题、冲突问题、无答案问题的代表性评测集；
3. 建立基线：在相同资源与调用条件下记录原始模型表现；
4. 分维度验证：
   • 准确性验证：统计问题回答的正确率、上下文引用的相关性、生成内容与检索结果的一致性；
   • 幻觉验证：重点观察知识库中无相关内容时模型是否强行编造，以及微调后在新旧知识交界处是否给出稳定答案；
   • 遗忘验证（针对微调）：使用覆盖预训练能力的通用评测集，观察微调前后能力是否退化；
   • 性能验证：通过压测观察检索延迟、上下文长度对推理吞吐的影响，或训练耗时与显存占用；
   • 稳定性验证：注入异常输入、模拟检索服务波动，观察降级与容错表现；
5. 控制变量：保证测试环境、资源配置、数据规模与调用方式一致；
6. 记录过程数据：记录响应、错误、日志、资源使用与人工操作成本；
7. 形成改进建议：根据结果指出优化方向，而非仅给出好或坏的判断。

以下为一组示意性评测流程伪代码，均为通用逻辑，不涉及任何专有工具或接口：

# 示意性评测流程（通用逻辑，非真实接口）
def evaluate_knowledge_update(model, eval_set, knowledge_source):
    results = {"accuracy": 0, "refusal_correct": 0, "hallucination": 0}
    for case in eval_set:
        context = retrieve(knowledge_source, case.query)  # 检索增强路线
        answer = model.generate(case.query, context=context)
        if case.has_answer and is_correct(answer, case.golden):
            results["accuracy"] += 1
        if not case.has_answer and is_refusal(answer):
            results["refusal_correct"] += 1  # 是否正确拒答
        if case.has_answer is False and not is_refusal(answer):
            results["hallucination"] += 1    # 无答案却编造
    return results

七、结果解读

评测结果需要结合技术原因进行条件化解读，避免绝对化判断：

• 检索增强方案：若在“无答案”问题上能稳定拒答、在事实查询类问题上召回相关性高，则说明该方案在知识时效性与幻觉控制上适配较好；其性能开销通常来自检索链路延迟与上下文长度增长，若在长上下文下推理明显变慢，应考虑优化检索精度或压缩上下文。
• 参数微调方案：若新知识评测集准确率提升的同时，通用评测集表现未出现明显下降，说明遗忘控制得当；若出现通用能力退化或知识冲突类问题答错，则往往源于微调数据覆盖不足或新旧知识边界处理不当。
• 共同的解读原则：单一指标的高分不代表整体适配，必须结合幻觉率、遗忘程度、性能开销和成本综合判断。

八、适用场景分析

• 知识高频更新、时效敏感的场景（如实时政策、动态数据查询）：更宜关注检索增强方案，重点评测检索时效、拒答能力与检索服务稳定性；
• 知识相对稳定、需深度内化的场景（如领域术语、特定表达风格）：可重点考察参数微调方案，重点关注遗忘控制与知识冲突处理；
• 数据敏感、权限要求高的场景：需重点验证两种方案的访问控制、数据隔离与审计能力；
• 算力与预算受限的场景：应把成本结构与维护复杂度作为关键权重，检索增强方案在更新成本上通常更具优势。

九、风险与限制

评测结论存在若干边界：样本设计偏差可能导致结论偏离真实分布；测试环境与生产环境的资源、网络、数据规模差异会影响可比性；数据质量不佳会同时拖累两种方案的表现；此外，模型能力会随知识库更新或参数迭代而变化，评测结论具有时效性，需定期复评。

十、选型与使用建议

基于通用评测逻辑，给出以下中立建议：

• 若知识更新频繁、以事实查询为主、追求低更新成本，优先考虑检索增强方案，并将精力投入知识库质量与检索精度建设；
• 若知识相对稳定、需要模型深度内化领域能力，可评估参数微调方案，但必须设置遗忘控制与知识冲突评测环节；
• 在要求较高的生产场景中，可考虑将两种方案结合使用，通过参数微调建立基础能力、通过检索增强补充时效性知识；
• 无论选择哪条路线，都应建立持续的评测集与监控机制，把知识更新纳入常态化的质量评估流程。

十一、总结

本文围绕“预训练完成的大语言模型如何进行后续知识更新”这一主题，明确了检索增强与参数微调两条主流路线的本质差异，并构建了覆盖功能、准确性、幻觉控制、性能、稳定性、安全性、成本等维度的评测框架。评测的关键不在于判定单一方案的绝对优劣，而在于结合知识更新特征、数据条件、资源边界与业务约束，通过分维度验证和结果解读，找到与场景最匹配的方案。建议读者在真实环境中建立基线与持续评测机制，使知识更新决策建立在可观察、可解释、可复现的评测证据之上。