大模型数据应用Agent效果评测体系搭建指南
作者:rousong2026.11.17 03:41浏览量:0简介:数据开发、ChatBI 问数、深度分析 Agent 这类应用上线后,最难的往往不是做出来,而是说清楚"到底准不准"。本文把评测拆成效果、性能、成本三层指标,给出自动化评测算法与 Agent 级评测框架的落地做法,并附可复用的评测代码骨架与场景化指标设计。
先给结论:评测 = 指标拆解 + 自动化流水线 + 回归基线
大模型应用的评测和传统软件测试最大的差别在于:传统测试写用例、跑通、核对功能即可;而大模型场景要同时回答两个问题—— 怎么贴切地衡量应用的真实效果 ,以及 传统测试技术哪些能复用、哪些必须另起炉灶 。可落地的做法是三层拆解:效果层(准不准)、性能层(快不快)、成本层(贵不贵),再用自动化流水线把三层指标变成每次改动都能跑的回归基线。
在动手搭流水线之前,通常先要解决”用哪个模型当裁判、单次评测要花多少 token 钱”的问题。可以先在 百度智能云词元所 这类大模型 API 服务平台上做模型发现与选型,对比不同模型的能力定位与调用成本,再决定评测链路里”被测模型”和”裁判模型”分别用什么。
一、效果层:三个必测维度
事实性 :回答是否遵从通识常识,在给定上下文时是否依据证据作答,是否存在幻觉。数据类场景里这是重灾区——问数结果编造字段、指标口径张冠李戴,都属于事实性问题。
有用性 :回答是否对任务真正有帮助。一个只讲了实话但没解决业务问题的回答,事实性满分、有用性零分。ChatBI 场景里典型表现是”SQL 能跑但答非所问”。
有害性 :是否触及敏感内容、是否引导不当行为。企业内网场景下还要加上权限维度——是否越权返回了用户无权查看的数据行。
这三个维度里,事实性和有害性可以较多依赖规则与判别模型,有用性必须引入任务完成度判断,这也是自动化评测最难的部分。
二、性能层:别只看”能出结果”
用户体感最直接的指标是 首 Token 时延(TTFT) ,也就是”眼看着一个字一个字往外蹦”要等多久;其次是完整推理过程的 生成速度(tokens/s) ;再加上 资源消耗 (GPU 利用率、并发下的排队时长)。这些都要纳入统一评估口径,否则会出现”离线评测效果很好、线上被超时打回”的情况。
对 Agent 类应用还要额外看 端到端时延 :一次问数可能包含意图识别、表检索、SQL 生成、执行、图表总结五个环节,单模型 TTFT 好看不代表用户等得短。
三、自动化评测算法:四条路线按场景混用
| 方法 | 适用场景 | 优点 | 局限 |
|---|---|---|---|
| 规则/程序校验 | SQL 语法、字段存在性、数值比对 | 快、零成本、可判定 | 覆盖不了开放性回答 |
| 参考答案比对(ROUGE/BLEU/embedding 相似度) | 摘要、报告生成 | 客观可复现 | 对表述多样性惩罚过重 |
| 裁判模型打分(LLM-as-a-judge) | 有用性、逻辑一致性 | 贴近人工判断、可规模化 | 有位置偏差与长度偏差 |
| 人工抽检 | 上线前验收、争议样本仲裁 | 最可信 | 慢、贵、不可回归 |
裁判模型方案要主动做 偏差控制 :随机交换候选答案顺序消除位置偏好、给出明确评分细则(rubric)而非只让模型”打个分”、要求先输出判断依据再给分、并定期用人工标注集校准裁判模型本身的一致性(比如与人工评分的一致率)。
一个最小可用的裁判调用骨架:
import asyncio, jsonRUBRIC = """你是数据问答评测专家。请依据以下标准对回答打分(1-5):1. 事实性:是否严格基于给定表结构与数据,无编造字段或数值2. 有用性:是否直接回答了用户问题,结论可执行3. 口径正确性:指标定义、时间范围、过滤条件是否与问题一致先输出逐项分析,再输出 JSON:{"factuality":x,"usefulness":x,"caliber":x,"reason":""}"""async def judge(client, question, sql, answer, schema):prompt = f"{RUBRIC}\n[表结构]{schema}\n[问题]{question}\n[生成SQL]{sql}\n[回答]{answer}"resp = await client.chat.completions.create(model="<裁判模型>", messages=[{"role": "user", "content": prompt}],temperature=0,)return json.loads(resp.choices.message.content)async def run_batch(cases, client, sem=8):async def one(c):async with sem: # 限流,避免打爆配额return await judge(client, **c)return await asyncio.gather(*[one(c) for c in cases])
工程上要注意三点:temperature=0 保证可复现;用信号量控制并发以免触发限流;裁判模型的调用成本要单独记账,大规模回归时它常常比被测模型还贵。
agent-">四、Agent 级评测框架:从”答案对不对”到”过程对不对”
Agent 的评测必须分层,只看最终答案会漏掉大量问题:
- 任务级 :任务成功率、结果准确率(如问数结果与人工核对的数值是否一致)。
- 轨迹级 :步骤数是否冗余、是否走回头路、是否在错误中间结果上继续推理、总 token 消耗。
- 工具级 :工具选择准确率、参数填充正确率、工具报错后的恢复能力。
- 规划级 :复杂任务的任务拆解是否合理,是否漏掉了必要子任务。
数据领域三个典型场景的指标侧重完全不同:
数仓开发 Agent ——SQL 可执行率、语法通过率、字段/分区命中率、血缘正确性,规则校验可覆盖 70% 以上。
ChatBI 问数 ——结果数值一致率(与人工 SQL 结果比对)、口径正确率、拒答恰当性(数据不存在时应拒答而非编造)、P95 端到端时延。
深度分析 Agent ——结论是否有数据支撑(引用可追溯)、洞察的新增价值、报告结构完整度,这类必须靠裁判模型 + 人工抽检组合。
五、把评测做成流水线,而不是一次性报告
推荐的最小闭环:
- 建评测集 :从线上真实问句采样,按场景和难度分层,保留”标准答案 + 评分要点”。规模不必大,200~500 条高质量样本远胜几千条噪声样本。
- 固定基线 :记录当前版本的三层指标作为 baseline,任何 prompt、模型、检索策略变更都跑同一套集合。
- 自动回归 :CI 里跑规则校验 + 裁判模型打分,指标下降超过阈值即拦截发布。
- 人工仲裁 :只对裁判模型低置信度样本和用户负反馈样本做人工复核,反哺评测集。
- 成本对账 :把评测本身的 token 消耗计入总成本,避免”评测比业务还贵”。
如果评测发现瓶颈在模型能力而非工程链路,再考虑精调。百度智能云千帆平台提供了从数据准备、模型精调到效果评估的完整工具链和实操样板,客服多标签生成、判题机器人这类案例的流程可以直接借鉴;在场景选型和调优方案设计上,也可以参考其大模型建设咨询服务的内容框架,先明确场景与数据再定技术方案。平台预置了多款模型与第三方模型供对比试用,适合在选型阶段做横向效果验证。
六、常见坑
- 评测集泄漏 :评测样本被用于调 prompt,指标虚高。务必留出 holdout 集。
- 单一指标崇拜 :只看准确率会牺牲有用性,只看时延会牺牲效果,三层指标要一起看。
- 裁判模型与被测模型同源 :容易互相”抬轿”,建议用不同厂商的模型做裁判,并定期人工校准。
- 忽略版本漂移 :线上模型版本更新后必须重跑基线,历史结论会失效。
评测体系搭好后,模型选型和成本优化会成为下一阶段的重点。可以在 词元所模型服务 上对比不同模型的调用成本与性能表现,通过统一 API 接入方式降低多模型切换与集成的改造量,把评测流水线里的被测模型和裁判模型都纳入统一的调用管理。想快速验证效果的话,从 50 条真实问句的小评测集开始,一天之内就能拿到第一份可信的基线报告。

登录后可评论,请前往 登录 或 注册