logo

AGI时代”宣称背后的基准评测与业务实测对比

作者:搬砖的石头2026.11.16 10:38浏览量:0

简介:面对某模型“进入AGI时代”的宣称,本文对比榜单基准评测与业务场景实测。前者回答“能力处于什么水平”,后者回答“能否稳定交付业务结果”。文章从任务构念、指标、运行配置、污染风险等维度拆解两者的差异与联系,并给出分层评测方案、选型建议和注意事项,帮助读者建立自己的评测体系,不被单一高分左右决策。

一、对比背景:“一个分数”能否支撑“一个结论”

近期,某模型服务厂商发布了新一代旗舰模型(下称“候选模型”),并在官方博客中宣称“人类进入了 AGI 时代”。回看原始材料,这一宣称的依据可以归纳为三层:

  1. 核心证据:候选模型搭配厂商专门为它设计的运行脚手架(Harness),在某抽象推理与模式归纳类基准(下称“抽象推理基准”)上取得了接近满分的成绩。
  2. 宣称逻辑:该基准系列的设计目标本来就是测量“当前 AI 与通用人工智能之间的差距”。在“差距尺”上拿到近乎满分,自然被解读为“差距已经抹平”。
  3. 叙事放大:这一单点成绩,经发布传播后被进一步简化为“进入 AGI 时代”的宏大判断。

对开发者和架构师而言,比“是否真的到了 AGI”更实际的问题是:面对一份“模型 + 运行配置 + 基准分数”的发布材料,技术团队应当怎样评测、怎样比较、怎样决策?

评测领域长期存在两类做法:

  • 榜单基准评测:以公开或内部的基准数据集打分,看模型在标准任务上的水平;
  • 业务场景实测:用自己的任务集在真实系统中验收,看模型能否稳定产出可用结果。

这两类做法不是互相取代的关系,而是回答不同层次的问题。本文围绕“候选模型 + 专用运行配置”这一类发布形态,对二者做系统对比,帮助读者把“发布宣称”转化为“可验证的判断”。

说明:本文涉及的模型、基准、工具均为中立化表述,相关名称以“候选模型”“抽象推理基准”“长程任务基准”“通用运行配置”“专用运行配置”等代称。

二、对比对象定义

2.1 对象 A:榜单基准评测

榜单基准评测的做法是:在一组事先定义好的题目上运行候选对象,用统一指标计算得分,再横向排序。发布材料中的评测基本都属于这一类,可以进一步细分:

类型 定义 特点
公开推理类基准 以抽象推理、模式归纳、规律补全类题目为主,形式接近标准化考试,代表如抽象推理基准 公开、易复现;难点在于验证模型是真推理,还是记住了见过的规律
公开任务类基准 面向实际任务的公开榜单,代表如长程任务基准,让 Agent 在真实软件环境中完成多步骤专业工作流 更接近实际工作形态;评分依赖环境搭建与校验脚本
厂商内部基准 由模型厂商自行设计、自行评分、一般不公开题目,发布材料中提到的科学健康、网络安全、对齐与安全、长上下文等类别多属此类 贴近厂商关注重点;外部难以复现与审计

榜单评测回答的核心问题是:候选对象在一组标准化任务上的能力水平如何,与同类对象相比处于什么位置?

2.2 对象 B:业务场景实测

业务场景实测的做法是:由使用方从真实业务中抽取代表性任务,构造自己的评测集,在接近生产的环境中运行,再用贴近业务价值的指标评估。它回答的核心问题是:候选对象能否在我的系统里,以可接受的成本和风险,稳定完成我要它完成的工作?

在本文语境中,被评测的“对象”始终是同一类东西:模型,加上围绕它的提示词、工具调用、校验、重试等运行配置,两者共同构成实际交付能力。 两类评测的区别不在“测谁”,而在“测什么、怎么测、用什么判断”。

三、相同点:两类评测共享的底层逻辑

在进入差异分析之前,先明确二者的共同点。理解这些共性,才能避免“用一套方法论全盘否定另一套”的误区。

  1. 都追求结论的可复现。基准评测要求固定数据集与评分脚本;业务实测要求固定任务集、固定运行配置、固定判分规则。缺少任何一项,分数都只是“这一次运行的结果”。
  2. 都把能力拆成可观测的任务。基准评测把“智能”拆成推理题、编程题、软件操作题;业务实测把它拆成工单处理、文档生成、代码审查等。两者都在用有限样本推断整体能力。
  3. 都受运行配置影响。在长程任务基准这类环境型评测中,运行框架、工具接口、提示词策略往往和模型本身同等重要。业务实测同样离不开这套“脚手架”,差异只在于基准评测提供的是通用脚手架,业务实测使用的是你自己的脚手架。
  4. 都面临“评测结论会过期”的问题。模型迭代、题目泄露、基准修订,都会让历史结论失效。两类评测都需要持续重跑,而不是一次性验收。
  5. 最终都要回答选型问题。无论分数来自公开榜单还是内部评测,最终都要转化为“是否采用、如何集成、如何兜底”的决策。

四、核心差异分析

4.1 任务构念:考“能力本身”还是考“任务完成”

发布材料对长程任务基准的描述很有代表性。它要求 Agent 在真实桌面软件环境中完成金融建模、工程设计、媒体制作等多步骤、跨工具的专业工作流。这类任务的构念是“像专业人士一样使用软件完成工作”,与业务实测的目标高度重合。

相比之下,抽象推理基准的构念是“从少量示例中归纳出潜在规律”,更接近对人类流体智力的测量。两者衡量的不是同一种东西:

  • 在抽象推理基准上接近满分,不能推导出“在真实软件环境中处理长程任务同样出色”;
  • 反过来,在某类业务任务上表现优秀,也不能说明模型具备了跨领域的通用推理能力。

原始材料特意单列一节介绍抽象推理基准,原因正在于此:它是整条“AGI 宣称”证据链的起点。而证据链的起点一旦与宣称对象不在同一构念上,后续推论就需要格外谨慎。

4.2 指标含义:百分制分数与业务指标的鸿沟

发布材料中的分数看似直观,仔细拆解就会发现 several 个容易被忽略的细节。

第一,分数往往只反映某一难度区间。 以长程任务基准为例,其采用分级结构设计,最难的“Last Exam”档位中,任何模型都只有约 2.6% 的任务被解决过。候选模型在某一“最高努力档”拿到 59.3%,首先说明的是它在该档位所覆盖任务上的表现,并不能说明它跨过了最高难度门槛。

第二,分数衡量的是“任务是否完成”,而非“结果质量如何”。 完成一份可运行的财务模型,和完成一份经得起审查的财务模型,是两个概念。后者还需要准确性、可解释性和可追溯性。

第三,业务指标是另一套语言。 业务实测更关心首字延迟、端到端耗时、单位任务成本、人工返工率、关键字段准确率、失败可恢复性。这些指标与基准分数之间不存在固定的换算关系。

因此,“99.9%”这样的数字如果脱离题目构成、难度分布和评分方式单独呈现,很容易让读者高估模型的普适能力。

4.3 评测架构:外部标准化评测与内部闭环评测

从架构上看,两类评测在“谁出题、谁运行、谁判分”上有本质区别:

环节 榜单基准评测 业务场景实测
出题方 第三方研究团队或模型厂商 使用方自己(业务专家参与)
运行环境 标准化沙箱、公开测试环境或厂商内部环境 自有或云上的隔离环境,尽量贴近生产
评分方 基准作者提供的脚本,或厂商自己的评审 自动校验 + 业务专家抽检
结果公开度 公开榜单分数,或发布材料中的自报分数 团队内部报告,可选择对外披露

架构差异带来两个直接影响:

  • 可比性:基准评测的横向对比建立在“同一套题目、同一套评分”之上。一旦运行配置不同,分数就失去了可比性。
  • 可信度:内部基准由厂商自证,外部很难审计;业务实测的数据来自自己的任务,可信度天然更高,但样本量有限。

4.4 接入与复现成本:一次评测与持续运营

基准评测的接入成本集中在“理解题目”。 抽象推理基准的题目形式接近考试,接入相对容易。环境型基准就复杂得多:需要准备桌面软件环境、工具接口、校验脚本,任务本身还可能随版本更新而变化。发布材料也提到,原作者在整理过程中主动剔除了几类内部基准,原因之一就是它们大多不公开、难以外部验证。

业务实测的接入成本集中在“构造任务集”。 从真实业务中筛选代表性任务、编写判分规则、搭建隔离环境,都需要业务专家与工程师共同参与。它的前期投入明显更高,但产出是可持续复用的资产:每次模型升级,都能用同一套任务集回归验证。

换言之,基准评测更像“租用别人的考卷”,业务实测更像“编写自己的考卷”。前者起步快、可比性强;后者贴合度高、资产归自己所有。

4.5 数据污染与评测可信度

原始材料为每个基准都单列了“污染与缺陷”字段,说明数据污染是评测领域公认的风险。两类评测在这方面的暴露程度不同:

  • 基准评测:题目、答案乃至解题轨迹一旦进入预训练或后训练语料,模型就可能“记住答案”而非“学会解题”。推理类基准题目格式固定、规律有限,这种风险尤其需要警惕。
  • 业务实测:使用私有数据构造任务集,被公开模型“见过”的概率低得多。但若业务数据曾被用于微调,或存在类似公开样例,污染风险同样存在。

此外,基准的“版本过期”也是常见问题:题目被公开讨论后难度下降,或基准修订后分数不可比。业务任务集则相对稳定,但会随业务变化需要定期增补。

4.6 已有争议与结论冲突

材料中列举的多个基准都伴随争议:

  • 部分计算机操作类基准被指出,模型得分很大程度上依赖运行脚手架的成熟程度,不同团队的结果差异明显;
  • 部分推理类基准因题目可通过简单规则被“套路化”而受到质疑;
  • 不同榜单之间的排名结论经常互相矛盾。

出现分歧时,合理的做法不是选一个“看起来最权威”的榜单,而是追问三件事:

  1. 题目构成是什么?
  2. 评分方式是什么?
  3. 运行配置是否公开、是否统一?

对内部基准而言,还要追问“由谁评审、评审标准是否可复核”。材料作者自己对几类内部基准不感兴趣而略过,本身就是一种合理的取舍:当信息不足以支撑判断时,降低其权重比强行解读更稳妥。

4.7 成本与运维

  • 基准评测的主要成本是算力与时间。部分基准设有“努力档”,模型需要进行更多轮尝试才能得分。59.3% 这样的数字背后,可能是显著增加的推理开销,而发布材料通常不会披露这些细节。
  • 业务实测的主要成本是人力。任务集维护、判分规则更新、结果复核都需要长期投入。

在运维层面,基准评测的结论需要随新基准、新版本持续更新。业务实测则需要建立回归机制:模型或提示词变更后自动重跑,并对分数波动设置告警。

4.8 安全与合规

  • 基准评测:题目多为公开数据,敏感信息风险较低。但若企业内部使用自建评测集,评测数据本身就需要纳入数据分级管理。
  • 业务实测:必须使用真实业务数据,涉及个人信息、商业机密时,需要做脱敏处理、隔离存储和访问审计。在云上环境开展时,应关注身份认证、权限控制、数据加密与操作留痕等通用能力。

4.9 对比总表

维度 榜单基准评测 业务场景实测
核心问题 能力处于什么水平 能否稳定交付业务结果
任务来源 第三方公开或厂商内部 自有业务任务
典型任务 推理题、软件操作题 工单、文档、代码审查、数据处理
主要指标 通过率、得分、难度档位 准确率、返工率、延迟、单位成本
运行配置 通用或专用脚手架,可比性受限 自有脚手架,贴近生产
污染风险 较高,随题目公开加剧 较低,但需防止微调泄漏
前期投入 较低到中等 较高
持续投入 跟踪新基准、新版本 任务集维护与回归
结论有效期 短,随版本与污染变化 较长,随业务变化更新
主要价值 横向定位、能力摸底 上线决策、持续验收

五、典型场景与选型建议

5.1 典型场景选择

  • 新技术调研与候选模型初筛:优先参考公开基准,快速缩小候选范围,再用少量业务任务做验证。
  • 关键业务上线决策:以业务实测为主。基准分数只作为“能力上限”的参考,不作为放行依据。
  • 版本升级回归:两类评测结合使用。公开基准用于观察整体能力变化,业务任务集用于确认关键功能未退化。
  • 对外披露与合规说明:优先引用可公开验证的评测方法与数据,对无法复现的内部结论保持谨慎。

5.2 选型建议

  1. 不要把单一基准分数当作能力全貌。基准题目与真实业务之间存在覆盖差距,单一高分只代表“在这份试卷上表现好”。
  2. 比较时控制变量。同一运行配置、同一难度档位、同一预算下的对比才有意义。“专用运行配置下的最高努力档”与“通用运行配置下的默认设置”之间不具备可比性。
  3. 重视最难档位的通过率。如果业务需要的是处理复杂长程任务,更应关注高难度任务是否被真正解决,而不是总体平均分有多高。
  4. 对内部基准保持合理怀疑。由发布方自行设计、自行评分的结论,应视为“线索”而非“结论”。
  5. 评测体系分层建设。可参考“三级漏斗”:

    • 第一级:公开基准摸底。 用少量公开基准快速筛选候选模型,目的是排除明显不合适的选项;
    • 第二级:领域任务验证。 构造 50~100 个贴近业务的代表性任务,验证关键能力是否达标;
    • 第三级:生产灰度。 在真实流量中按小比例放量,监控质量、成本与稳定性指标。

5.3 一个可落地的最小评测流程

以下伪代码展示了一种通用做法:固定运行配置,分层统计各难度任务的通过情况,并对模型与运行配置分别记录结果。代码不涉及任何具体厂商接口。

  1. # 通用评测流程示意:固定运行配置,分层统计
  2. def evaluate(model_client, tasks, run_config, repeats=3):
  3. results = []
  4. for task in tasks: # tasks 来自公开基准或自有任务集
  5. outcomes = []
  6. for _ in range(repeats): # 多次运行,观察稳定性
  7. resp = run_with_config(model_client, task, run_config)
  8. outcomes.append(score(resp, task)) # 统一评分规则
  9. results.append({
  10. "task_id": task.id,
  11. "tier": task.tier, # 难度档位
  12. "pass_rate": mean(outcomes), # 多次运行通过率
  13. "variance": var(outcomes), # 波动程度
  14. "tokens": resp.usage.total, # 资源消耗
  15. "latency": resp.metrics.latency,
  16. })
  17. return summarize_by_tier(results) # 按档位汇总

流程中有四个要点:

  1. 固定运行配置:温度、最大轮数、工具白名单、预算上限等全部记录在案,确保不同模型、不同版本之间可比。
  2. 分层统计:按难度档位分别报告通过率,而不是只给总体平均。
  3. 多次运行:观察结果波动。单次成功可能是偶然,稳定性比峰值更重要。
  4. 记录资源消耗:把 token 用量、时延纳入同一份报告,避免“只看分数不看成本”。

六、迁移与使用注意事项

如果团队打算从“依赖公开榜单”转向“自建评测体系”,或反过来补充基准评测,需要关注以下事项:

  1. 数据与权限:业务数据进入评测流程前,要完成脱敏、分级和访问控制。涉及个人信息的数据,应遵循相关法律法规和平台的数据使用条款。
  2. 环境与依赖:环境型任务依赖具体软件与接口版本。环境升级后,历史分数可能不再可比,需要保留环境快照或版本记录。
  3. 接口与协议:切换模型时,接口形态、流式输出、工具调用格式可能存在差异。建议在接入层做统一适配,将模型差异隔离在一层之内,降低替换成本。
  4. 评分一致性:自动评分与人工评分要有统一标准,并定期抽检,防止“评分漂移”导致结论失真。
  5. 成本与预算:评测本身消耗算力与人力,需要设定预算上限与优先级,避免评测范围无限膨胀。
  6. 结果解读:对“某某模型超过人类”“进入某个时代”一类表述,应回到原始数据核对题目构成、难度分布和运行配置,而不是接受二手转述。

七、总结:回到“如何评价这一宣称”

回到最初的问题:如何评价某厂商发布候选模型时宣称“人类进入 AGI 时代”?

从评测角度看,可以给出三层回答:

  1. 证据层面:宣称主要建立在“候选模型 + 专用运行配置在抽象推理基准上接近满分”这一单点结果上。该基准测的是抽象规律归纳能力,与“通用智能”并不等价;而长程任务基准显示,最难档位仍只有极少数任务被任何模型解决。用单点高分推导整体结论,证据链并不充分。
  2. 方法层面:基准评测与业务实测各有分工。基准评测提供横向坐标,帮助判断能力处于什么区间;业务实测提供纵向验证,帮助判断是否适合自己的场景。两者结合,才能形成完整的能力画像。
  3. 决策层面:对技术团队来说,与其争论“是否到达 AGI”,不如把精力投入到构建自己的评测体系上。用分层漏斗筛选候选,用固定运行配置保证可比,用业务任务集做最终验收,用持续回归应对版本变化。

评测的本质,是把模糊的宣称转化为可验证的数字,再把数字转化为可执行的决策。无论发布方如何表述,评测体系都应当掌握在使用方自己手里。

发表评论

活动