LLM、RAG与Agent评测对比与选型指南
作者:梅琳marlin2026.11.16 11:09浏览量:0简介:本文对比LLM、RAG与Agent三类大模型系统的评测方法,围绕观察对象、指标分母、标注依赖、判定规则、安全边界与平台落地展开,帮助读者理解准确率、召回率、幻觉率、任务成功率和轨迹率的真实含义,并形成清晰的选型与实施思路。
对比背景:分数不是重点,分数说明什么才是重点
在大模型系统评测中,常见的问题并不是“有没有分数”,而是“这个分数到底说明了什么”。同样一个准确率,在单轮文本生成、检索增强生成和多步骤智能体任务中,可能对应完全不同的观察对象、判定规则和分母口径。如果分母不同、判定标准不同、检查层级不同,两个系统之间的分数就不能直接比较。
本文对比的是三类典型大模型系统评测:
- LLM评测:针对基础大模型或单轮、多轮文本生成能力的评测,重点看模型是否理解输入、是否完成任务、输出是否可靠。
- RAG评测:针对检索增强生成系统的评测,重点看证据是否找对、答案是否基于证据、引用是否一致。
- Agent评测:针对具备规划、工具调用、多步执行能力的智能体系统的评测,重点看任务是否完成、轨迹是否合规、操作是否安全。
三类系统都在大模型应用链路中非常常见,但评测思路不能混用。LLM评测关注“回答得怎么样”,RAG评测关注“依据找得对不对、回答有没有根据”,Agent评测关注“动作做得对不对、目标有没有达成”。理解这些差异,是设计评测体系、选择评测指标和落地评测平台的前提。
三类评测对象的共同点
虽然LLM、RAG和Agent的评测重点不同,但它们在评测方法上有一组共同基础。任何大模型系统的评测想要具备可信度,都需要先建立这些共同能力。
1. 都必须明确评测目标
无论是LLM、RAG还是Agent,评测的第一步都不是选指标,而是明确“系统要完成什么任务”。例如:
- 是抽取、分类、摘要、改写,还是开放问答?
- 是知识问答、文档问答,还是需要引用来源?
- 是单步决策、多步规划,还是需要调用外部工具完成操作?
如果评测目标不清晰,指标就会变成“有数字但无意义”。例如同样叫准确率,抽取任务可能按字段计算,分类任务可能按类别计算,自由生成任务可能需要人工评分或模型裁判辅助判断。目标不清晰,指标口径就会漂移。
2. 都必须有可复现的测试样本
可信评测需要固定样本集、固定版本、固定输入格式,并尽可能控制随机性。对于大模型系统来说,温度参数、提示词版本、检索策略、工具版本、上下文长度、模型版本等,都可能影响结果。因此,评测系统需要记录每次评测的环境配置,保证结果可回放、可比较。
对于LLM,需要保存提示词、输入上下文和输出结果;对于RAG,需要保存问题、检索片段、证据排序和最终答案;对于Agent,还需要保存规划步骤、工具调用参数、返回结果、环境状态和最终状态。
3. 都必须区分自动指标与人工评估
自动指标效率高,适合大规模回归;人工评估更贴近业务真实感受,适合处理复杂语义、边界情况和主观判断。大模型系统评测通常需要二者结合:
- 自动指标:准确率、召回率、命中率、通过率、格式合规率、延迟、失败率等。
- 人工评估:回答是否有帮助、表达是否自然、证据是否充分、风险是否合理、任务是否真正完成。
自动指标负责规模化和持续回归,人工评估负责校准指标失真,二者不能互相替代。
4. 都必须考虑版本化回归
大模型系统不是一次评测就结束,而是需要持续迭代。每次修改模型、提示词、检索策略、工具列表或业务规则后,都应该重新跑评测集,观察是否出现回退。没有回归集,优化就容易变成“局部修复、整体退化”。
因此,LLM、RAG和Agent评测都需要建设版本化测试集、基线指标、差异报告和问题归因机制。
核心差异:观察对象、判定规则和分母完全不同
LLM、RAG和Agent评测的关键差异,不在于是否使用大模型,而在于“评测对象”不同。系统越复杂,观察层级越多,评测口径越需要拆分。
1. LLM评测:观察单步输出质量
LLM评测的核心观察对象通常是模型对输入的理解和单步输出结果。它不关心系统背后是否有检索,也不关心是否有工具调用,而是直接评估模型输出是否符合任务要求。
常见评测内容包括:
- 分类、抽取、摘要、改写、翻译、代码生成等任务准确率。
- 指令遵循能力,例如是否按格式输出、是否满足长度限制、是否遵循约束。
- 事实性与常识性,例如输出是否包含明显错误。
- 安全性,例如是否产生有害、歧视、违法或高风险内容。
- 稳定性,例如相同输入下输出是否波动过大。
LLM评测的关键难点在于“判定标准要具体到题型和粒度”。例如:
- 实体抽取准确率,可以按字段计算:正确抽取字段数 / 应抽取字段总数。
- 分类准确率,可以按样本计算:预测正确样本数 / 总样本数。
- 开放问答质量,可能需要人工评分、规则检查或模型辅助评审。
- 格式合规率,可以按输出是否包含合法结构计算:合规输出数 / 总输出数。
如果LLM评测没有写清楚“按什么算、分母是什么、正确如何判定”,分数很容易失去可比性。
rag-">2. RAG评测:必须同时看检索和生成
RAG评测比LLM评测多了一层“证据”。在RAG系统中,模型不是仅凭参数化知识回答,而是先检索外部知识,再基于检索结果生成回答。因此,RAG评测不能只看最终答案,还必须看证据是否正确。
RAG评测通常包括两层:
检索层评测
检索层关注“有没有找到正确证据”。核心问题包括:
- 正确证据是否被召回?
- 正确证据是否排在前面?
- 检索结果是否包含噪声?
- 证据覆盖率是否足够?
- 不同检索策略下效果是否稳定?
常见指标是召回率,但必须明确:
- 正确证据集合是什么;
- 是看top-1、top-3还是top-k;
- 分母是“有正确证据的样本数”还是“全部样本数”;
- 是按问题计,还是按证据片段计。
例如,如果评测100个知识问答问题,其中80个问题在知识库中有正确证据,那么检索召回率的分母可能应优先选择这80个问题,而不是全部100个问题。否则,没有正确证据的问题会拉低指标,但也会掩盖真正需要优化的检索能力。
生成层评测
生成层关注“答案是否基于证据”。核心问题包括:
- 回答是否有证据支持?
- 回答是否遗漏关键证据?
- 回答是否引用正确来源?
- 回答是否混入无依据内容?
- 回答是否答非所问?
- 回答是否 contradicted evidence,即与证据冲突?
常见指标包括忠实度、证据支持率、引用一致率、答案完整率等。这里的“幻觉率”尤其需要谨慎定义。它可以按陈述统计,也可以按回答统计:
- 按陈述统计:无证据支持的陈述数 / 回答中的总陈述数。
- 按回答统计:包含至少一个无证据陈述的回答数 / 总回答数。
这两种分母不同,结果不能直接比较。因此,RAG评测必须明确:是在检查证据、检查回答,还是同时检查两者;检查粒度是片段、句子、段落,还是整条回答。
agent-">3. Agent评测:必须同时看结果和轨迹
Agent评测比RAG评测更复杂,因为它不仅有输入、检索和输出,还有规划、工具调用、环境交互和多步执行。Agent的输出不是一个文本回答,而是一组动作或一系列状态变化。
因此,Agent评测必须至少分为两层:
结果层评测
结果层关注“任务是否完成”。例如:
- 工单是否被正确分类并流转?
- 表单字段是否填写完整且符合要求?
- 资源是否按要求创建、修改或删除?
- 任务是否在限制时间内完成?
- 最终结果是否满足外部状态条件?
这里的任务成功率不能只看模型输出文本是否“看起来完成”,而必须由外部目标状态判定。例如,Agent说“我已经提交了申请”并不等于真的提交成功,系统必须检查目标系统状态、数据库状态、任务状态或业务事件是否发生。
轨迹层评测
轨迹层关注“过程是否合理、安全、合规”。例如:
- 是否选择了正确工具?
- 是否使用了必要参数?
- 是否跳过关键步骤?
- 是否重复调用造成副作用?
- 是否在失败后进行合理重试?
- 是否执行了高风险操作?
- 是否请求人工确认?
- 是否在异常状态下停止?
轨迹率需要说明检查哪些规则、怎么算分母。例如:
- 危险操作发生率 = 包含危险操作的轨迹数 / 总轨迹数。
- 工具调用合规率 = 符合规则的工具调用数 / 总工具调用数。
- 步骤正确率 = 符合预期步骤的轨迹数 / 总轨迹数。
- 重试合理率 = 合理重试次数 / 总重试次数。
如果Agent评测只看最终结果,可能会漏掉高风险过程;如果只看轨迹,又可能忽略任务是否真正完成。因此,Agent评测通常需要“结果率 + 轨迹率 + 异常率”共同构成。
对比表格:LLM、RAG与Agent评测差异总结
| 对比维度 | LLM评测 | RAG评测 | Agent评测 |
|---|---|---|---|
| 核心观察对象 | 单轮或多轮模型输出 | 检索证据与生成回答 | 任务结果、执行轨迹与环境状态 |
| 主要问题 | 模型是否理解并生成符合要求的答案 | 证据是否找对,回答是否有依据 | 任务是否完成,动作是否安全合规 |
| 关键指标 | 准确率、遵循率、格式合规率、质量评分、安全率 | 召回率、证据命中率、忠实度、引用一致率、幻觉率 | 任务成功率、轨迹合规率、危险操作率、重试率、完成率 |
| 指标分母 | 按任务类型确定,如样本数、字段数、输出数 | 按证据集合或回答陈述确定,如正确证据问题数、回答陈述数 | 按轨迹数、步骤数、工具调用数或任务数确定 |
| 标注依赖 | 参考答案、评分量规、判定规则 | 正确证据集合、引用关系、证据相关性标注 | 任务目标、初始状态、工具规则、最终状态断言 |
| 判定方式 | 规则匹配、语义相似、模型裁判、人工评估 | 检索命中、证据支持、引用一致、人工复核 | 状态校验、规则检查、轨迹审计、环境回放 |
| 主要风险 | 幻觉、偏题、格式错误、安全违规 | 漏检、误检、无依据回答、证据冲突、引用错误 | 工具误用、越权操作、不可逆副作用、目标未完成 |
| 多模态关注点 | 图文音视频输入理解、跨模态生成质量 | 多模态证据召回、模态对齐、证据与答案一致 | 多模态指令理解、工具操作对象状态、执行环境反馈 |
| 评测复杂度 | 中低 | 中高 | 高 |
| 适合团队 | 模型能力评估、提示词优化、生成质量监控 | 知识问答、文档问答、搜索增强、企业知识库 | 自动化流程、工具编排、多步任务、业务执行系统 |
具体例子:同一套系统为何需要不同指标
例子一:LLM准确率
假设评测任务是“从用户反馈中提取问题类型”。
如果采用字段级准确率:
准确率 = 正确提取的字段数 / 应提取的字段总数
那么每个样本可能有多个标签,指标反映的是字段级识别能力。
如果采用样本级准确率:
准确率 = 完全正确样本数 / 总样本数
那么只要一个样本中有一个标签错误,整个样本就记为错误。它反映的是整体可用性,但无法定位细粒度错误。
两种口径都有意义,但不能混用。评测报告必须写清楚:是按字段算,还是按样本算;是否允许多标签;是否考虑部分正确。
例子二:RAG召回率与幻觉率
假设评测任务是“基于企业文档回答问题”。
检索召回率可以定义为:
Recall@k = 正确证据出现在前k个结果中的问题数 / 知识库中存在正确证据的问题数
这里的关键是“存在正确证据的问题数”,而不是全部问题数。若某些问题本身没有答案,强行计入分母会误导优化方向。
幻觉率可以按陈述统计:
陈述级幻觉率 = 无证据支持的陈述数 / 回答中的总陈述数
也可以按回答统计:
回答级幻觉率 = 包含无证据陈述的回答数 / 总回答数
前者适合定位哪些内容缺少依据,后者适合衡量有多少回答需要人工拦截。二者各有用途,但必须单独报告,不能混成一个“幻觉率”。
例子三:Agent任务成功率与轨迹率
假设Agent任务是“根据用户指令完成一次表单提交”。
任务成功率可以定义为:
任务成功率 = 最终状态满足目标条件的次数 / 总执行次数
其中“最终状态满足目标条件”应包括:
- 表单已提交;
- 关键字段正确;
- 返回状态成功;
- 没有产生重复提交;
- 没有触发越权操作。
轨迹率可以定义为:
轨迹合规率 = 符合规则的步骤数 / 总步骤数
规则可以包括:
- 必须先读取用户确认;
- 必须调用查询工具获取基础信息;
- 必须校验字段;
- 高风险提交前必须二次确认;
- 失败时不能无限重试。
这样评测就不只是看“是否完成”,还能看出“怎么完成的”和“哪里容易出错”。
文本与多模态评测的扩展差异
随着大模型应用从纯文本扩展到图文、视频、音频、文档、表格等多模态内容,评测也需要增加模态维度。
1. LLM多模态评测:看模型是否理解不同输入
如果LLM接收图片、图表、语音或视频,并输出文本,评测重点包括:
- 是否正确识别图片中的实体;
- 是否理解图表中的趋势、数值和关系;
- 是否从长音频或视频中提取关键事实;
- 是否能回答跨模态问题;
- 是否在多模态输入下保持指令遵循;
- 是否会生成与输入矛盾的内容。
此时不能只用文本准确率,还要加入跨模态一致性指标,例如:
图文一致率 = 回答中与图片内容一致的关键陈述数 / 回答中涉及图片内容的关键陈述总数
2. RAG多模态评测:证据可能不只是文本
在多模态RAG中,证据可能是文本片段、图片、表格、PDF页面、音频片段或视频片段。评测需要关注:
- 检索是否能找到正确模态的证据;
- 不同模态证据之间是否冲突;
- 回答是否引用了正确模态来源;
- 图片证据是否被正确理解;
- 表格数值是否被准确抽取;
- 音频证据是否支持回答结论。
例如,一个问题可能需要结合一张趋势图和一个文档段落才能回答。此时检索召回率不能只看文本片段,还要看图片或表格是否被召回。
3. Agent多模态评测:执行对象也可能跨模态
Agent如果处理图片审核、文档处理、音频工单、视频巡检等任务,评测还要看:
- Agent是否正确理解多模态指令;
- Agent是否选择正确的工具处理对应模态;
- Agent是否读取了正确的状态;
- Agent是否对不可逆操作进行确认;
- Agent是否将多模态证据写入最终状态;
- Agent是否在模态信息缺失时安全停止。
这类场景下,轨迹率和状态校验比单纯回答准确率更重要。
平台落地:评测平台应该怎么建
无论是LLM、RAG还是Agent,如果评测只停留在临时脚本层面,很难支撑持续迭代。真正可落地的评测体系,通常需要平台化能力。
1. 评测平台的基础模块
一个通用的大模型评测平台可以包含以下模块:
- 用例管理:管理输入、期望结果、标签、难度、业务场景和风险等级。
- 数据集版本管理:支持基线集、回归集、难例集、线上采样集。
- 评测任务编排:批量运行模型、检索、工具和完整应用链路。
- 指标计算服务:统一准确率、召回率、幻觉率、成功率等指标口径。
- 人工标注与评审:支持多人标注、仲裁、抽样复核和质量评估。
- 报告与趋势看板:展示版本间差异、失败分布和风险变化。
- 权限与审计:控制样本访问、结果导出、标注修改和模型调用权限。
- 日志与回放:保存输入、中间结果、工具调用和最终输出,便于定位问题。
如果评测平台运行在百度智能云等云环境中,可以复用对象存储、消息队列、容器平台、日志服务、监控告警、身份认证等通用云能力,把样本管理、任务调度、结果存储和权限审计串成闭环。
2. 评测平台要支持分层评测
对于复杂系统,不能只做端到端评测。建议将评测拆成多层:
- 模型层:评估基础模型能力,如理解、生成、推理、遵循、安全。
- 检索层:评估召回、排序、切分、重排、知识覆盖。
- 生成层:评估忠实度、完整性、引用一致性、可读性。
- 编排层:评估RAG或Agent的流程正确性、异常处理、版本兼容性。
- 结果层:评估任务完成度、业务状态变化、用户满意度。
- 风险层:评估幻觉、越权、危险操作、隐私泄露和不可逆副作用。
分层评测的好处是:当端到端指标下降时,可以快速判断问题来自模型、检索、编排还是工具环境。
3. 指标口径必须配置化
不同业务对指标定义可能不同。例如:
- 召回率看top-3还是top-5?
- 幻觉率按陈述还是按回答?
- 任务成功率是否允许部分完成?
- 轨迹率分母是步骤数还是任务数?
- 多模态回答是否要求必须引用图片证据?
这些问题不应在每次评测时临时口头约定,而应通过指标配置固化下来。评测平台应支持:
- 指标名称;
- 指标定义;
- 分子与分母规则;
- 数据来源;
- 统计粒度;
- 过滤条件;
- 适用场景;
- 责任人;
- 版本说明。
这样跨团队、跨版本、跨项目之间才有可比性。
典型场景选择:不同业务该用哪种评测
1. 单轮文本生成任务:优先做LLM评测
如果系统主要功能是:
- 文案生成;
- 摘要;
- 改写;
- 翻译;
- 分类;
- 抽取;
- 简单问答;
- 结构化输出;
且不强依赖外部知识库或多步工具,那么应优先建设LLM评测。重点是任务集、评分规则、格式校验和安全过滤。
2. 知识问答与文档问答:必须做RAG评测
如果系统回答依赖外部知识,例如:
- 企业制度问答;
- 产品文档问答;
- 客服知识库;
- 法规资料检索;
- 技术文档问答;
- 研究报告摘要;
那么只做LLM评测不够。需要额外建设证据集、检索回归集和引用一致性检查。否则,模型即使回答流畅,也可能没有依据。
3. 多步任务与工具调用:必须做Agent评测
如果系统能够执行动作,例如:
- 自动填单;
- 工单处理;
- 资源创建;
- 流程审批;
- 数据查询与写入;
- 多系统协同;
- 自动化运维操作;
那么评测不能只看回答,而要看结果状态和轨迹合规。尤其涉及写操作、删除操作、支付操作、权限变更等场景时,轨迹审计和人工确认机制非常重要。
4. 组合系统:端到端与分层评测并重
实际业务系统常常是“LLM + RAG + Agent”的组合。例如一个智能客服系统可能同时具备:
- 大模型理解能力;
- 知识库检索能力;
- 工单查询工具;
- 订单修改工具;
- 多轮追问能力;
- 人工转接能力。
这类系统需要端到端评测,也需要分层评测:
- 端到端看最终任务是否完成;
- 分层看模型、检索、工具、流程各自是否合格。
不能因为端到端成功率低,就简单判断模型能力差;也不能因为单个模型指标高,就认为整个系统可用。
选型建议:不要只看指标高低,要看约束和边界
1. 先明确业务风险等级
低风险场景可以更关注效率和覆盖,例如内部知识问答、文案辅助、摘要生成。高风险场景必须更关注安全、可追溯和可回滚,例如金融操作、权限变更、资源删除、医疗建议、法律合规。
风险等级越高,越不能只依赖自动指标。需要增加:
- 人工抽检;
- 危险操作拦截;
- 二次确认;
- 日志审计;
- 灰度发布;
- 失败回退机制。
2. 再看数据标注能力
如果团队没有标注能力,不建议直接建设复杂Agent评测。因为Agent评测需要明确目标状态、工具规则、初始环境和轨迹标准,标注和规则设计成本较高。
如果知识库标注不完善,RAG评测也很难可信。至少需要先建设小规模金标集,明确:
- 每个问题是否有正确证据;
- 正确证据有哪些;
- 证据片段如何切分;
- 什么算命中;
- 什么算无依据;
- 什么算冲突。
3. 再评团队工程能力
RAG和Agent评测都依赖工程能力。RAG需要数据管道、检索服务和索引版本管理;Agent需要沙箱、工具模拟、状态校验和回放环境。
如果团队目前主要优化模型输出,可以优先做LLM评测;如果已经有知识库和检索服务,可以推进RAG评测;如果已经具备工具接口和任务流程,再建设Agent评测更稳妥。
4. 条件化选择建议
- 在高合规要求场景下,应优先关注轨迹率、危险操作率和人工确认机制。
- 在知识频繁更新场景下,应优先关注RAG的证据召回率和引用一致率。
- 在多步骤长流程场景下,应优先关注Agent的任务成功率和步骤合规率。
- 在团队人力有限时,可优先采用自动化程度更高、人工成本更低的评测方案,但高风险样本仍需人工复核。
- 在模型版本频繁更新时,应建立回归集和基线指标,避免优化后指标漂移。
迁移与使用注意事项
1. 指标不能直接跨系统比较
从LLM评测迁移到RAG评测时,不能直接比较“准确率”。因为RAG的准确率还受检索、知识库、证据质量和引用规则影响。从RAG迁移到Agent时,也不能直接比较“回答正确率”,因为Agent还涉及工具、环境、状态和多步规划。
跨系统比较前,必须说明:
- 评测任务是否一致;
- 输入分布是否一致;
- 判定规则是否一致;
- 分母是否一致;
- 是否包含工具和环境因素。
否则,分数差异可能只反映口径不同,而不是能力不同。
2. 数据标注需要重建或补建
LLM评测的标注通常是参考答案或评分要点;RAG评测需要证据标注;Agent评测需要目标状态、工具规则和轨迹标准。
因此,迁移系统时不能只迁移代码,还要迁移或重建:
- 金标数据集;
- 标注规范;
- 证据集合;
- 任务目标定义;
- 风险规则;
- 评审标准。
3. 环境与回放能力很关键
RAG评测需要能回放检索结果和生成上下文;Agent评测需要能回放工具调用和环境状态。若环境不可回放,问题定位会非常困难。
建议至少保存:
- 请求ID;
- 输入内容;
- 中间结果;
- 工具参数;
- 工具返回;
- 最终状态;
- 错误信息;
- 版本信息。
但要注意脱敏,避免保存不必要的敏感数据。
4. 安全与权限不能后置
评测样本可能包含业务数据、用户输入、内部文档或工具权限。评测平台必须考虑:
- 数据脱敏;
- 访问控制;
- 最小权限;
- 操作审计;
- 导出审批;
- 日志保存周期;
- 评测结果隔离。
如果评测环境连接真实业务系统,还要避免评测任务产生真实副作用。低风险评测尽量使用模拟环境或只读环境。
5. 成本要提前评估
复杂评测的成本不只来自模型调用,还来自:
- 人工标注;
- 人工复核;
- 环境维护;
- 沙箱搭建;
- 数据清洗;
- 指标开发;
- 版本管理;
- 故障定位。
团队应根据业务优先级选择评测深度,不要一开始追求大而全。可以先从高频、高风险、易回退的样本开始建设。
总结:评测的核心不是指标数量,而是口径清晰
LLM、RAG和Agent评测的本质,都是把“大模型系统是否可靠”拆成可观察、可判定、可复现的具体问题。
- LLM评测回答:模型是否理解任务,并生成符合要求的输出。
- RAG评测回答:证据是否找对,答案是否有依据,引用是否一致。
- Agent评测回答:任务是否完成,轨迹是否合规,操作是否安全。
三者不能混用指标口径。准确率要落到具体题型和判定方式;RAG召回率要有标注好的正确证据集合,并写明top-k;幻觉率要说明按陈述还是按回答统计;Agent结果率要由外部目标状态判定,轨迹率要说明检查哪些规则、怎么算分母。
只有当每个数字都对应一件具体事情——哪个任务做对了,证据找到了没有,哪里走错了,出了什么风险,下一版改善了哪一层——评测才真正有业务价值。对于需要持续迭代的大模型系统,建议优先明确评测目标,再选择对应指标,随后建设分层评测平台,并通过版本化回归、人工评审和风险控制,让评测结果真正服务于优化决策。

登录后可评论,请前往 登录 或 注册