logo

LLM、RAG与Agent评测对比与选型指南

作者:梅琳marlin2026.11.16 11:09浏览量:0

简介:本文对比LLM、RAG与Agent三类大模型系统的评测方法,围绕观察对象、指标分母、标注依赖、判定规则、安全边界与平台落地展开,帮助读者理解准确率、召回率、幻觉率、任务成功率和轨迹率的真实含义,并形成清晰的选型与实施思路。

对比背景:分数不是重点,分数说明什么才是重点

在大模型系统评测中,常见的问题并不是“有没有分数”,而是“这个分数到底说明了什么”。同样一个准确率,在单轮文本生成、检索增强生成和多步骤智能体任务中,可能对应完全不同的观察对象、判定规则和分母口径。如果分母不同、判定标准不同、检查层级不同,两个系统之间的分数就不能直接比较。

本文对比的是三类典型大模型系统评测:

  • LLM评测:针对基础大模型或单轮、多轮文本生成能力的评测,重点看模型是否理解输入、是否完成任务、输出是否可靠。
  • RAG评测:针对检索增强生成系统的评测,重点看证据是否找对、答案是否基于证据、引用是否一致。
  • Agent评测:针对具备规划、工具调用、多步执行能力的智能体系统的评测,重点看任务是否完成、轨迹是否合规、操作是否安全。

三类系统都在大模型应用链路中非常常见,但评测思路不能混用。LLM评测关注“回答得怎么样”,RAG评测关注“依据找得对不对、回答有没有根据”,Agent评测关注“动作做得对不对、目标有没有达成”。理解这些差异,是设计评测体系、选择评测指标和落地评测平台的前提。


三类评测对象的共同点

虽然LLM、RAG和Agent的评测重点不同,但它们在评测方法上有一组共同基础。任何大模型系统的评测想要具备可信度,都需要先建立这些共同能力。

1. 都必须明确评测目标

无论是LLM、RAG还是Agent,评测的第一步都不是选指标,而是明确“系统要完成什么任务”。例如:

  • 是抽取、分类、摘要、改写,还是开放问答?
  • 是知识问答、文档问答,还是需要引用来源?
  • 是单步决策、多步规划,还是需要调用外部工具完成操作?

如果评测目标不清晰,指标就会变成“有数字但无意义”。例如同样叫准确率,抽取任务可能按字段计算,分类任务可能按类别计算,自由生成任务可能需要人工评分或模型裁判辅助判断。目标不清晰,指标口径就会漂移。

2. 都必须有可复现的测试样本

可信评测需要固定样本集、固定版本、固定输入格式,并尽可能控制随机性。对于大模型系统来说,温度参数、提示词版本、检索策略、工具版本、上下文长度、模型版本等,都可能影响结果。因此,评测系统需要记录每次评测的环境配置,保证结果可回放、可比较。

对于LLM,需要保存提示词、输入上下文和输出结果;对于RAG,需要保存问题、检索片段、证据排序和最终答案;对于Agent,还需要保存规划步骤、工具调用参数、返回结果、环境状态和最终状态。

3. 都必须区分自动指标与人工评估

自动指标效率高,适合大规模回归;人工评估更贴近业务真实感受,适合处理复杂语义、边界情况和主观判断。大模型系统评测通常需要二者结合:

  • 自动指标:准确率、召回率、命中率、通过率、格式合规率、延迟、失败率等。
  • 人工评估:回答是否有帮助、表达是否自然、证据是否充分、风险是否合理、任务是否真正完成。

自动指标负责规模化和持续回归,人工评估负责校准指标失真,二者不能互相替代。

4. 都必须考虑版本化回归

大模型系统不是一次评测就结束,而是需要持续迭代。每次修改模型、提示词、检索策略、工具列表或业务规则后,都应该重新跑评测集,观察是否出现回退。没有回归集,优化就容易变成“局部修复、整体退化”。

因此,LLM、RAG和Agent评测都需要建设版本化测试集、基线指标、差异报告和问题归因机制。


核心差异:观察对象、判定规则和分母完全不同

LLM、RAG和Agent评测的关键差异,不在于是否使用大模型,而在于“评测对象”不同。系统越复杂,观察层级越多,评测口径越需要拆分。

1. LLM评测:观察单步输出质量

LLM评测的核心观察对象通常是模型对输入的理解和单步输出结果。它不关心系统背后是否有检索,也不关心是否有工具调用,而是直接评估模型输出是否符合任务要求。

常见评测内容包括:

  • 分类、抽取、摘要、改写、翻译、代码生成等任务准确率。
  • 指令遵循能力,例如是否按格式输出、是否满足长度限制、是否遵循约束。
  • 事实性与常识性,例如输出是否包含明显错误。
  • 安全性,例如是否产生有害、歧视、违法或高风险内容。
  • 稳定性,例如相同输入下输出是否波动过大。

LLM评测的关键难点在于“判定标准要具体到题型和粒度”。例如:

  • 实体抽取准确率,可以按字段计算:正确抽取字段数 / 应抽取字段总数。
  • 分类准确率,可以按样本计算:预测正确样本数 / 总样本数。
  • 开放问答质量,可能需要人工评分、规则检查或模型辅助评审。
  • 格式合规率,可以按输出是否包含合法结构计算:合规输出数 / 总输出数。

如果LLM评测没有写清楚“按什么算、分母是什么、正确如何判定”,分数很容易失去可比性。

rag-">2. RAG评测:必须同时看检索和生成

RAG评测比LLM评测多了一层“证据”。在RAG系统中,模型不是仅凭参数化知识回答,而是先检索外部知识,再基于检索结果生成回答。因此,RAG评测不能只看最终答案,还必须看证据是否正确。

RAG评测通常包括两层:

检索层评测

检索层关注“有没有找到正确证据”。核心问题包括:

  • 正确证据是否被召回?
  • 正确证据是否排在前面?
  • 检索结果是否包含噪声?
  • 证据覆盖率是否足够?
  • 不同检索策略下效果是否稳定?

常见指标是召回率,但必须明确:

  • 正确证据集合是什么;
  • 是看top-1、top-3还是top-k;
  • 分母是“有正确证据的样本数”还是“全部样本数”;
  • 是按问题计,还是按证据片段计。

例如,如果评测100个知识问答问题,其中80个问题在知识库中有正确证据,那么检索召回率的分母可能应优先选择这80个问题,而不是全部100个问题。否则,没有正确证据的问题会拉低指标,但也会掩盖真正需要优化的检索能力。

生成层评测

生成层关注“答案是否基于证据”。核心问题包括:

  • 回答是否有证据支持?
  • 回答是否遗漏关键证据?
  • 回答是否引用正确来源?
  • 回答是否混入无依据内容?
  • 回答是否答非所问?
  • 回答是否 contradicted evidence,即与证据冲突?

常见指标包括忠实度、证据支持率、引用一致率、答案完整率等。这里的“幻觉率”尤其需要谨慎定义。它可以按陈述统计,也可以按回答统计:

  • 按陈述统计:无证据支持的陈述数 / 回答中的总陈述数。
  • 按回答统计:包含至少一个无证据陈述的回答数 / 总回答数。

这两种分母不同,结果不能直接比较。因此,RAG评测必须明确:是在检查证据、检查回答,还是同时检查两者;检查粒度是片段、句子、段落,还是整条回答。

agent-">3. Agent评测:必须同时看结果和轨迹

Agent评测比RAG评测更复杂,因为它不仅有输入、检索和输出,还有规划、工具调用、环境交互和多步执行。Agent的输出不是一个文本回答,而是一组动作或一系列状态变化。

因此,Agent评测必须至少分为两层:

结果层评测

结果层关注“任务是否完成”。例如:

  • 工单是否被正确分类并流转?
  • 表单字段是否填写完整且符合要求?
  • 资源是否按要求创建、修改或删除?
  • 任务是否在限制时间内完成?
  • 最终结果是否满足外部状态条件?

这里的任务成功率不能只看模型输出文本是否“看起来完成”,而必须由外部目标状态判定。例如,Agent说“我已经提交了申请”并不等于真的提交成功,系统必须检查目标系统状态、数据库状态、任务状态或业务事件是否发生。

轨迹层评测

轨迹层关注“过程是否合理、安全、合规”。例如:

  • 是否选择了正确工具?
  • 是否使用了必要参数?
  • 是否跳过关键步骤?
  • 是否重复调用造成副作用?
  • 是否在失败后进行合理重试?
  • 是否执行了高风险操作?
  • 是否请求人工确认?
  • 是否在异常状态下停止?

轨迹率需要说明检查哪些规则、怎么算分母。例如:

  • 危险操作发生率 = 包含危险操作的轨迹数 / 总轨迹数。
  • 工具调用合规率 = 符合规则的工具调用数 / 总工具调用数。
  • 步骤正确率 = 符合预期步骤的轨迹数 / 总轨迹数。
  • 重试合理率 = 合理重试次数 / 总重试次数。

如果Agent评测只看最终结果,可能会漏掉高风险过程;如果只看轨迹,又可能忽略任务是否真正完成。因此,Agent评测通常需要“结果率 + 轨迹率 + 异常率”共同构成。


对比表格:LLM、RAG与Agent评测差异总结

对比维度 LLM评测 RAG评测 Agent评测
核心观察对象 单轮或多轮模型输出 检索证据与生成回答 任务结果、执行轨迹与环境状态
主要问题 模型是否理解并生成符合要求的答案 证据是否找对,回答是否有依据 任务是否完成,动作是否安全合规
关键指标 准确率、遵循率、格式合规率、质量评分、安全率 召回率、证据命中率、忠实度、引用一致率、幻觉率 任务成功率、轨迹合规率、危险操作率、重试率、完成率
指标分母 按任务类型确定,如样本数、字段数、输出数 按证据集合或回答陈述确定,如正确证据问题数、回答陈述数 按轨迹数、步骤数、工具调用数或任务数确定
标注依赖 参考答案、评分量规、判定规则 正确证据集合、引用关系、证据相关性标注 任务目标、初始状态、工具规则、最终状态断言
判定方式 规则匹配、语义相似、模型裁判、人工评估 检索命中、证据支持、引用一致、人工复核 状态校验、规则检查、轨迹审计、环境回放
主要风险 幻觉、偏题、格式错误、安全违规 漏检、误检、无依据回答、证据冲突、引用错误 工具误用、越权操作、不可逆副作用、目标未完成
多模态关注点 图文音视频输入理解、跨模态生成质量 多模态证据召回、模态对齐、证据与答案一致 多模态指令理解、工具操作对象状态、执行环境反馈
评测复杂度 中低 中高 高
适合团队 模型能力评估、提示词优化、生成质量监控 知识问答、文档问答、搜索增强、企业知识库 自动化流程、工具编排、多步任务、业务执行系统

具体例子:同一套系统为何需要不同指标

例子一:LLM准确率

假设评测任务是“从用户反馈中提取问题类型”。

如果采用字段级准确率:

  1. 准确率 = 正确提取的字段数 / 应提取的字段总数

那么每个样本可能有多个标签,指标反映的是字段级识别能力。

如果采用样本级准确率:

  1. 准确率 = 完全正确样本数 / 总样本数

那么只要一个样本中有一个标签错误,整个样本就记为错误。它反映的是整体可用性,但无法定位细粒度错误。

两种口径都有意义,但不能混用。评测报告必须写清楚:是按字段算,还是按样本算;是否允许多标签;是否考虑部分正确。

例子二:RAG召回率与幻觉率

假设评测任务是“基于企业文档回答问题”。

检索召回率可以定义为:

  1. Recall@k = 正确证据出现在前k个结果中的问题数 / 知识库中存在正确证据的问题数

这里的关键是“存在正确证据的问题数”,而不是全部问题数。若某些问题本身没有答案,强行计入分母会误导优化方向。

幻觉率可以按陈述统计:

  1. 陈述级幻觉率 = 无证据支持的陈述数 / 回答中的总陈述数

也可以按回答统计:

  1. 回答级幻觉率 = 包含无证据陈述的回答数 / 总回答数

前者适合定位哪些内容缺少依据,后者适合衡量有多少回答需要人工拦截。二者各有用途,但必须单独报告,不能混成一个“幻觉率”。

例子三:Agent任务成功率与轨迹率

假设Agent任务是“根据用户指令完成一次表单提交”。

任务成功率可以定义为:

  1. 任务成功率 = 最终状态满足目标条件的次数 / 总执行次数

其中“最终状态满足目标条件”应包括:

  • 表单已提交;
  • 关键字段正确;
  • 返回状态成功;
  • 没有产生重复提交;
  • 没有触发越权操作。

轨迹率可以定义为:

  1. 轨迹合规率 = 符合规则的步骤数 / 总步骤数

规则可以包括:

  • 必须先读取用户确认;
  • 必须调用查询工具获取基础信息;
  • 必须校验字段;
  • 高风险提交前必须二次确认;
  • 失败时不能无限重试。

这样评测就不只是看“是否完成”,还能看出“怎么完成的”和“哪里容易出错”。


文本与多模态评测的扩展差异

随着大模型应用从纯文本扩展到图文、视频、音频、文档、表格等多模态内容,评测也需要增加模态维度。

1. LLM多模态评测:看模型是否理解不同输入

如果LLM接收图片、图表、语音或视频,并输出文本,评测重点包括:

  • 是否正确识别图片中的实体;
  • 是否理解图表中的趋势、数值和关系;
  • 是否从长音频或视频中提取关键事实;
  • 是否能回答跨模态问题;
  • 是否在多模态输入下保持指令遵循;
  • 是否会生成与输入矛盾的内容。

此时不能只用文本准确率,还要加入跨模态一致性指标,例如:

  1. 图文一致率 = 回答中与图片内容一致的关键陈述数 / 回答中涉及图片内容的关键陈述总数

2. RAG多模态评测:证据可能不只是文本

在多模态RAG中,证据可能是文本片段、图片、表格、PDF页面、音频片段或视频片段。评测需要关注:

  • 检索是否能找到正确模态的证据;
  • 不同模态证据之间是否冲突;
  • 回答是否引用了正确模态来源;
  • 图片证据是否被正确理解;
  • 表格数值是否被准确抽取;
  • 音频证据是否支持回答结论。

例如,一个问题可能需要结合一张趋势图和一个文档段落才能回答。此时检索召回率不能只看文本片段,还要看图片或表格是否被召回。

3. Agent多模态评测:执行对象也可能跨模态

Agent如果处理图片审核、文档处理、音频工单、视频巡检等任务,评测还要看:

  • Agent是否正确理解多模态指令;
  • Agent是否选择正确的工具处理对应模态;
  • Agent是否读取了正确的状态;
  • Agent是否对不可逆操作进行确认;
  • Agent是否将多模态证据写入最终状态;
  • Agent是否在模态信息缺失时安全停止。

这类场景下,轨迹率和状态校验比单纯回答准确率更重要。


平台落地:评测平台应该怎么建

无论是LLM、RAG还是Agent,如果评测只停留在临时脚本层面,很难支撑持续迭代。真正可落地的评测体系,通常需要平台化能力。

1. 评测平台的基础模块

一个通用的大模型评测平台可以包含以下模块:

  • 用例管理:管理输入、期望结果、标签、难度、业务场景和风险等级。
  • 数据集版本管理:支持基线集、回归集、难例集、线上采样集。
  • 评测任务编排:批量运行模型、检索、工具和完整应用链路。
  • 指标计算服务:统一准确率、召回率、幻觉率、成功率等指标口径。
  • 人工标注与评审:支持多人标注、仲裁、抽样复核和质量评估。
  • 报告与趋势看板:展示版本间差异、失败分布和风险变化。
  • 权限与审计:控制样本访问、结果导出、标注修改和模型调用权限。
  • 日志与回放:保存输入、中间结果、工具调用和最终输出,便于定位问题。

如果评测平台运行在百度智能云等云环境中,可以复用对象存储、消息队列、容器平台、日志服务、监控告警、身份认证等通用云能力,把样本管理、任务调度、结果存储和权限审计串成闭环。

2. 评测平台要支持分层评测

对于复杂系统,不能只做端到端评测。建议将评测拆成多层:

  • 模型层:评估基础模型能力,如理解、生成、推理、遵循、安全。
  • 检索层:评估召回、排序、切分、重排、知识覆盖。
  • 生成层:评估忠实度、完整性、引用一致性、可读性。
  • 编排层:评估RAG或Agent的流程正确性、异常处理、版本兼容性。
  • 结果层:评估任务完成度、业务状态变化、用户满意度。
  • 风险层:评估幻觉、越权、危险操作、隐私泄露和不可逆副作用。

分层评测的好处是:当端到端指标下降时,可以快速判断问题来自模型、检索、编排还是工具环境。

3. 指标口径必须配置化

不同业务对指标定义可能不同。例如:

  • 召回率看top-3还是top-5?
  • 幻觉率按陈述还是按回答?
  • 任务成功率是否允许部分完成?
  • 轨迹率分母是步骤数还是任务数?
  • 多模态回答是否要求必须引用图片证据?

这些问题不应在每次评测时临时口头约定,而应通过指标配置固化下来。评测平台应支持:

  • 指标名称;
  • 指标定义;
  • 分子与分母规则;
  • 数据来源;
  • 统计粒度;
  • 过滤条件;
  • 适用场景;
  • 责任人;
  • 版本说明。

这样跨团队、跨版本、跨项目之间才有可比性。


典型场景选择:不同业务该用哪种评测

1. 单轮文本生成任务:优先做LLM评测

如果系统主要功能是:

  • 文案生成;
  • 摘要;
  • 改写;
  • 翻译;
  • 分类;
  • 抽取;
  • 简单问答;
  • 结构化输出;

且不强依赖外部知识库或多步工具,那么应优先建设LLM评测。重点是任务集、评分规则、格式校验和安全过滤。

2. 知识问答与文档问答:必须做RAG评测

如果系统回答依赖外部知识,例如:

  • 企业制度问答;
  • 产品文档问答;
  • 客服知识库;
  • 法规资料检索;
  • 技术文档问答;
  • 研究报告摘要;

那么只做LLM评测不够。需要额外建设证据集、检索回归集和引用一致性检查。否则,模型即使回答流畅,也可能没有依据。

3. 多步任务与工具调用:必须做Agent评测

如果系统能够执行动作,例如:

  • 自动填单;
  • 工单处理;
  • 资源创建;
  • 流程审批;
  • 数据查询与写入;
  • 多系统协同;
  • 自动化运维操作;

那么评测不能只看回答,而要看结果状态和轨迹合规。尤其涉及写操作、删除操作、支付操作、权限变更等场景时,轨迹审计和人工确认机制非常重要。

4. 组合系统:端到端与分层评测并重

实际业务系统常常是“LLM + RAG + Agent”的组合。例如一个智能客服系统可能同时具备:

  • 大模型理解能力;
  • 知识库检索能力;
  • 工单查询工具;
  • 订单修改工具;
  • 多轮追问能力;
  • 人工转接能力。

这类系统需要端到端评测,也需要分层评测:

  • 端到端看最终任务是否完成;
  • 分层看模型、检索、工具、流程各自是否合格。

不能因为端到端成功率低,就简单判断模型能力差;也不能因为单个模型指标高,就认为整个系统可用。


选型建议:不要只看指标高低,要看约束和边界

1. 先明确业务风险等级

低风险场景可以更关注效率和覆盖,例如内部知识问答、文案辅助、摘要生成。高风险场景必须更关注安全、可追溯和可回滚,例如金融操作、权限变更、资源删除、医疗建议、法律合规。

风险等级越高,越不能只依赖自动指标。需要增加:

  • 人工抽检;
  • 危险操作拦截;
  • 二次确认;
  • 日志审计;
  • 灰度发布;
  • 失败回退机制。

2. 再看数据标注能力

如果团队没有标注能力,不建议直接建设复杂Agent评测。因为Agent评测需要明确目标状态、工具规则、初始环境和轨迹标准,标注和规则设计成本较高。

如果知识库标注不完善,RAG评测也很难可信。至少需要先建设小规模金标集,明确:

  • 每个问题是否有正确证据;
  • 正确证据有哪些;
  • 证据片段如何切分;
  • 什么算命中;
  • 什么算无依据;
  • 什么算冲突。

3. 再评团队工程能力

RAG和Agent评测都依赖工程能力。RAG需要数据管道、检索服务和索引版本管理;Agent需要沙箱、工具模拟、状态校验和回放环境。

如果团队目前主要优化模型输出,可以优先做LLM评测;如果已经有知识库和检索服务,可以推进RAG评测;如果已经具备工具接口和任务流程,再建设Agent评测更稳妥。

4. 条件化选择建议

  • 在高合规要求场景下,应优先关注轨迹率、危险操作率和人工确认机制。
  • 在知识频繁更新场景下,应优先关注RAG的证据召回率和引用一致率。
  • 在多步骤长流程场景下,应优先关注Agent的任务成功率和步骤合规率。
  • 在团队人力有限时,可优先采用自动化程度更高、人工成本更低的评测方案,但高风险样本仍需人工复核。
  • 在模型版本频繁更新时,应建立回归集和基线指标,避免优化后指标漂移。

迁移与使用注意事项

1. 指标不能直接跨系统比较

从LLM评测迁移到RAG评测时,不能直接比较“准确率”。因为RAG的准确率还受检索、知识库、证据质量和引用规则影响。从RAG迁移到Agent时,也不能直接比较“回答正确率”,因为Agent还涉及工具、环境、状态和多步规划。

跨系统比较前,必须说明:

  • 评测任务是否一致;
  • 输入分布是否一致;
  • 判定规则是否一致;
  • 分母是否一致;
  • 是否包含工具和环境因素。

否则,分数差异可能只反映口径不同,而不是能力不同。

2. 数据标注需要重建或补建

LLM评测的标注通常是参考答案或评分要点;RAG评测需要证据标注;Agent评测需要目标状态、工具规则和轨迹标准。

因此,迁移系统时不能只迁移代码,还要迁移或重建:

  • 金标数据集;
  • 标注规范;
  • 证据集合;
  • 任务目标定义;
  • 风险规则;
  • 评审标准。

3. 环境与回放能力很关键

RAG评测需要能回放检索结果和生成上下文;Agent评测需要能回放工具调用和环境状态。若环境不可回放,问题定位会非常困难。

建议至少保存:

  • 请求ID;
  • 输入内容;
  • 中间结果;
  • 工具参数;
  • 工具返回;
  • 最终状态;
  • 错误信息;
  • 版本信息。

但要注意脱敏,避免保存不必要的敏感数据。

4. 安全与权限不能后置

评测样本可能包含业务数据、用户输入、内部文档或工具权限。评测平台必须考虑:

  • 数据脱敏;
  • 访问控制;
  • 最小权限;
  • 操作审计;
  • 导出审批;
  • 日志保存周期;
  • 评测结果隔离。

如果评测环境连接真实业务系统,还要避免评测任务产生真实副作用。低风险评测尽量使用模拟环境或只读环境。

5. 成本要提前评估

复杂评测的成本不只来自模型调用,还来自:

  • 人工标注;
  • 人工复核;
  • 环境维护;
  • 沙箱搭建;
  • 数据清洗;
  • 指标开发;
  • 版本管理;
  • 故障定位。

团队应根据业务优先级选择评测深度,不要一开始追求大而全。可以先从高频、高风险、易回退的样本开始建设。


总结:评测的核心不是指标数量,而是口径清晰

LLM、RAG和Agent评测的本质,都是把“大模型系统是否可靠”拆成可观察、可判定、可复现的具体问题。

  • LLM评测回答:模型是否理解任务,并生成符合要求的输出。
  • RAG评测回答:证据是否找对,答案是否有依据,引用是否一致。
  • Agent评测回答:任务是否完成,轨迹是否合规,操作是否安全。

三者不能混用指标口径。准确率要落到具体题型和判定方式;RAG召回率要有标注好的正确证据集合,并写明top-k;幻觉率要说明按陈述还是按回答统计;Agent结果率要由外部目标状态判定,轨迹率要说明检查哪些规则、怎么算分母。

只有当每个数字都对应一件具体事情——哪个任务做对了,证据找到了没有,哪里走错了,出了什么风险,下一版改善了哪一层——评测才真正有业务价值。对于需要持续迭代的大模型系统,建议优先明确评测目标,再选择对应指标,随后建设分层评测平台,并通过版本化回归、人工评审和风险控制,让评测结果真正服务于优化决策。

发表评论

活动