logo

大模型系统评测指南:LLM、RAG与Agent的指标拆解

作者:问题终结者2026.11.16 11:23浏览量:0

简介:评测大模型系统,困惑往往不在于"有没有分数",而在于"分数说明了什么"。本文系统阐释LLM、RAG、Agent三类系统的评测逻辑,说明准确率、召回率、幻觉率、结果率、轨迹率等指标的分母口径、判定规则与观察对象,帮助读者建立可复现、可比较、可追溯的评测体系,让每个数字都对应一件具体的事。

一、概念定义:什么是大模型系统评测

大模型系统评测,是指围绕大语言模型及其组合系统(如检索增强生成 RAG、智能体 Agent),通过标准化的测试集、明确的判定规则和统一的统计口径,对系统能力进行量化测量的过程。它的核心目标不是产出一个孤立的分数,而是回答”这个系统在哪一层做对了、哪里出错了、下一版究竟改善了哪一层”。

评测的对象可以落在三个层次:底层模型本身(LLM)、叠加了外部知识检索的生成系统(RAG)、以及具备规划与工具调用能力的自动化系统(Agent)。三者结构复杂度递增,评测维度也随之增加。从技术视角看,它是一套测量方法;从业务视角看,它是决策依据;从使用视角看,它是一张”能力地图”,指出系统的强项与短板。

二、背景与价值:为什么评测比想象中难

评测大模型系统,常见的困惑不是”有没有分数”,而是”这个分数到底说明了什么”。当分母、判定规则和观察对象不一致时,两个看似可比的数字其实指向完全不同的事情。例如同样叫”准确率”,一个是选择题单选判定,另一个是开放问答人工打分,二者没有可比性。

系统每叠加一种输入或一种处理步骤,就需要多检查一层:模型是否看懂了输入,证据是否找对,操作是否安全且达成了目标。正因为链路变长,评测也必须分层展开。如果只用一个笼统的总分,往往会掩盖真正的问题所在——你以为模型”更聪明了”,其实只是某一层的提示词或检索策略发生了变化。

三、核心组成:三类系统的评测指标

1. LLM 的准确率:落到具体题型与判定方式

LLM 的准确率必须绑定具体题型和判定规则。同样是”准确率”,在选择题上可以用标准答案精确匹配,在开放生成上则需要人工评分或规则打分。定义准确率时,必须写清评测的任务类型(问答、摘要、分类、推理等)和判定方法(精确匹配、语义相似、人工评分),否则数字无法复现,也无法跨版本比较。

rag-top-k">2. RAG 的召回率:需要标注好的证据集合与 top-k

RAG 系统多了”检索”这一环,因此评测要区分”检索到的证据是否正确”和”生成答案是否正确”。召回率需要有事先标注好的正确证据集合作为基准,并明确写明 top-k(检索返回的文档数量)。只有固定了 k 值和标注集,召回率才有意义,才能比较不同检索策略、不同切分方式的真实效果。

agent-">3. Agent 的结果率与轨迹率:外部目标状态与规则口径

Agent 的评测最复杂,需要拆成两类指标。结果率由外部的目标状态判定,即任务的最终状态是否真正达成(如订单是否创建、文件是否写入),这要求一个独立于 Agent 的判定器。轨迹率则关注执行过程的正确性,必须说明检查哪些规则(如是否越权、是否重复调用、是否遗漏步骤)以及怎么算分母(按步骤数、按任务数还是按工具调用数)。轨迹率口径不清晰,就无法定位错误发生在哪一步。

四、工作原理:让每个数字对应一件事

评测的落地逻辑,是先把系统拆成可观察的层,再为每一层设计对应的指标和口径:

  • LLM 层:模型是否理解了任务?
  • RAG 检索层:证据是否找对了?
  • Agent 执行层:操作是否安全、是否达成目标?

示意性的评测流程可概括为:

  1. 准备标准化测试集与标注(含正确证据、目标状态、判定规则);
  2. 定义每个指标的分母口径(按问题数、按证据数还是按步骤数);
  3. 运行系统并采集输出、检索结果、执行轨迹;
  4. 依据判定规则打分,并记录每一层的通过/失败;
  5. 汇总为分层指标,而非单一总分。

这样,每个数字才对应一件具体事情:哪个任务做对了,证据找到了没有,哪里走错了,出了什么风险,以及下一版究竟改善了哪一层。

五、典型场景

  • 模型选型与版本回归:在升级模型或调整提示词后,用固定测试集对比 LLM 准确率与幻觉率,判断是否真正提升。
  • RAG 系统调优:通过固定 top-k 与标注证据集,评估不同切分策略、检索策略对召回率的影响。
  • Agent 安全评估:在执行类任务中,用轨迹率检查是否越权操作、是否遗漏关键步骤,用结果率确认目标是否达成。
  • 上线前质量门禁:将分层指标固化为流水线中的自动检查项,防止质量回退。

六、相关概念区别

  • 评测 vs 监控:评测是在离线标准化测试集上度量能力,监控是在线上真实流量上观察表现,二者互补而非替代。
  • 召回率 vs 准确率:召回率关注”该找的证据找到没有”,准确率关注”给出的答案对不对”,在 RAG 中需分别统计。
  • 结果率 vs 轨迹率:结果率看最终状态是否达成,轨迹率看过程是否规范,Agent 评测必须两者兼顾。
  • 幻觉率 vs 错误率:幻觉率特指生成内容与事实/证据不符,需说明按陈述(单句)还是回答(整体)统计,口径不同数值差异很大。

七、使用注意事项

  • 口径先行:任何指标都要先写清分母、判定规则和观察对象,否则不同来源的数字不可比。
  • 标注质量:RAG 召回率高度依赖正确证据集的质量,标注错误会直接扭曲结论。
  • top-k 固定:比较检索效果时必须固定 k 值,否则召回率无意义。
  • 判定器独立:Agent 结果率应由外部判定器裁定,避免系统自己给自己打分。
  • 分层记录:不要只保留总分,要保留每一层的通过/失败明细,便于定位问题。
  • 平台化承载:可借助对象存储保存测试集、日志服务记录运行轨迹、监控告警服务跟踪指标变化,实现评测的可复现与可追溯。

八、总结

大模型系统评测的本质,是在 LLM、RAG、Agent 三层结构上建立口径统一、可复现、可比较的测量体系。LLM 的准确率要落到题型与判定方式,RAG 的召回率要有标注证据集和明确的 top-k,Agent 的结果率要由外部目标状态判定、轨迹率要说明规则与分母。当每个数字都对应一件具体事情时,评测才真正服务于决策:告诉你哪个任务做对了、证据找到了没有、哪里走错了、出了什么风险,以及下一版究竟改善了哪一层。

发表评论

活动