logo

单元测试与Agent评估:两类验证体系的差异与选型

作者:4042026.11.16 10:39浏览量:0

简介:单元测试与Agent评估并不是替代关系,而分别对应确定性系统与非确定性系统。本文拆解两者在判定逻辑、断言对象、评分方式、环境依赖、成本与回归机制上的核心差异,说明公开基准为何难以为内部质量背书,并给出条件化的选型建议与迁移注意事项。

一、本文对比的对象

本文对比的是两类验证体系:

  • 对象A:确定性软件测试体系——以单元测试、断言、覆盖率指标为核心,服务于行为可预测的代码逻辑。
  • 对象B:Agent评估体系——以评估集、评分器(含模型评分)、人工校准、行为回归集为核心,服务于由大模型驱动的非确定性系统。

先给结论:这两套东西不是谁取代谁,而是同一目标(提前发现缺陷)在两类系统上的不同技术投影。把它们混用,会得到一个危险的错觉——覆盖率很高、全绿,但真实缺陷在上线后才暴露。

二、对比背景:一个72小时才暴露的缺陷

某团队上线过一个客服Agent。发布前测试覆盖率82%、所有case绿灯、压测通过。上线72小时后用户反馈集中涌入:在某类投诉场景下,Agent会反复追问用户同一个问题,形成死循环。

回查代码,没有bug。回看测试,所有断言都在验证”输出是否包含某个关键词”。没有任何一条测试在验证”多轮对话中Agent会不会陷入逻辑死循环”。

根因不是测试写得不够多,而是测试范式与系统性质不匹配。更麻烦的是,外部信号在这件事上也不可靠:某主流代码能力基准曾被公开演示可通过十余行代码利用测试框架的钩子机制篡改结果并拿到满分;相关分析指出,多个模型提交存在绕过测试或作弊行为,多个主流基准被集体点名。公开榜单可以被刷穿,而内部评估如果没有建立起来,团队实际上是在”盲飞”——既无法证明自己的Agent变好了,也无法证明它没变坏。

三、对象定义

对象A:确定性软件测试体系

其底层假设是:相同输入,得到相同输出。同一个函数、同一组参数、同一份依赖版本、同一套初始状态,执行结果稳定可复现。因此测试的目标可以表述为”证明实现与规格一致”,失败信号可以精确定位到某一行代码。它的典型产物是测试框架 + 断言库 + 覆盖率报告,收益是极低的边际成本与极高的可定位性。

agent-">对象B:Agent评估体系

Agent有三个绕不开的性质:

  1. 输出具有随机性:相同输入可能产生不同表述、不同工具选择;
  2. 外部工具状态随时变化:检索结果、数据库记录、第三方接口返回都是动态的;
  3. 执行路径由Agent自主决定:模型自己决定调用几次工具、走哪条分支、何时结束。

三条叠加的结果,是”输入—输出”从函数关系退化为概率分布关系。因此评估的目标不能是”输出必须等于X”,只能是”在这个任务分布上,Agent的能力水平与风险边界处在可接受区间”。它的产物是评估集(任务卡 + 期望行为约束)、评分器(规则 / 模型 / 人工)、指标(任务成功率、维度分、退化率)与回归基线。

四、相同点:容易被忽略的共同底座

  1. 目标一致:都是用可控成本把缺陷拦在发布之前,而不是让用户来当测试环境。
  2. 都需要固定输入集:单元测试的固定输入是参数与桩数据;Agent评估的固定输入是”任务卡”——包含用户意图、初始环境状态、期望的完成标准与禁止行为。
  3. 都需要接入交付流水线:失败要能阻断发布或至少触发告警,否则再好的用例也会随迭代腐化。
  4. 都受覆盖度不足之困:单元测试覆盖不到未列举的分支;评估集覆盖不到真实流量分布的长尾。
  5. 都存在信任问题:测试可能被绕过,评估可能被刷分。这也是为什么”评估可信度治理”在Agent场景下远比在单测场景下更关键。

五、核心差异

5.1 判定逻辑:精确匹配 vs 分布与边界

对象A的判定是二值的:断言成立即通过。对象B的判定是统计的:单次运行通过不代表能力达标,需要多次采样看通过率,还要区分”能力不足”与”波动过大”。这带来一个实践结论:Agent评估的成功标准必须是阈值 + 样本量,而不是一条assert。

5.2 断言对象:单点输出 vs 行为链

这是两套体系最本质的分野。传统断言盯的是”输出里有没有某个字符串”,而Agent真正的风险几乎都不在单点输出上,而在行为链上。可用的拆解是把”任务成功”分成三个层次:

  • 能完成任务:目标是否达成,而非表述是否漂亮;
  • 没搞坏其他流程:是否产生越权操作、错误写入、影响无关会话的副作用;
  • 边界情况下行为合理:在信息缺失、用户情绪激烈、工具返回异常时是否仍然收敛,而不是死循环、无限追问或跨轮遗忘。

前面那个客服Agent的缺陷,正好落在第三层:单点输出全部正确,行为链却发散了。

5.3 评分方式:布尔断言 vs 多维打分 + 校准门

引入模型评分(业界常称LLM-as-Judge)几乎是必然选择,因为很多维度(是否遵循约束、回答是否充分、语气是否恰当)无法用字符串匹配表达。但它有一个必须正视的偏向:评分器倾向于给长输出打高分,与实际质量相关性很弱。可行的治理方式是加一道人工校准门——每两周抽样约100条人工重评,与模型评分做diff,偏差超过预设阈值(例如15%)就重新对齐评分提示与评分标准。这一步常被省略,结果是评估体系从”看不见问题”变成”看不见问题,但有一堆分数”。

5.4 测试替身与环境:mock vs 真实或沙箱状态

单元测试大量依赖mock把依赖固定住,这在Agent场景会失效:Agent的价值恰恰体现在它对真实工具反馈的适应上,把工具全mock掉,等于只测了模型”照剧本念”的能力。较务实的折中是分层:核心业务逻辑仍用mock做确定性测试;涉及检索、数据读写、多步工具编排的路径,跑在有隔离的沙箱环境里,使用可复现的数据快照,同时对外部依赖设置超时与降级,避免评估结果被第三方抖动污染。

5.5 回归机制:代码回归 vs 行为回归集

对象A的回归成本几乎为零,对象B的回归成本取决于有没有资产沉淀。可行做法是建立行为回归集:把历史上真实出现过的异常模式(死循环、无限追问、跨轮遗忘、工具调用错误累积、越权回复)逐条固化成任务卡,每次提示词或模型迭代后全量跑一遍。某团队的实践数据是:升级某主流商用模型的新版本时,全套回归不到4小时完成验证。对照来看,有评估体系的团队换模型是”几天内完成验证”,没有的团队要”数周人工测”——这个差距在Agent工程里直接等于迭代速度。

5.6 成本结构

成本项 对象A 对象B
用例编写 低,可由开发直接补 较高,需抽象真实任务与期望约束
单次运行成本 近乎为零(本地执行) 有模型调用与环境开销,需采样多次
维护成本 中,随接口变更同步 较高,评估集与评分器都需定期校准
结果可信度维护 依赖覆盖率与评审 依赖人工校准与分布代表性
前期投入 低 高,通常需要数周起步

六、对比表格

维度 确定性软件测试体系 Agent评估体系
适用对象 函数、模块、接口、确定性流程 由大模型驱动的规划、对话、工具编排
底层假设 相同输入→相同输出 输出服从分布,只能评估期望与边界
判定方式 布尔断言、精确/近似匹配 多维度打分、阈值 + 样本量、退化对比
主要对象 单点输出与分支覆盖 行为链:完成度、副作用、边界行为
环境策略 mock、桩、内存态 沙箱、数据快照、超时与降级
失败定位 精确至行 需结合轨迹、工具日志、评分维度归因
稳定性 高 中,受模型版本与环境波动影响
迭代速度收益 提升基础代码质量 决定换模型、改提示词的验证周期
主要风险 对随机性行为完全无感 评分器偏向、评估集不代表真实分布

七、示意代码对比

确定性断言(对象A):

  1. def test_extract_order_id():
  2. text = "我的订单号是 A12345,请帮我查一下"
  3. assert extract_order_id(text) == "A12345"

评估式(对象B,通用伪代码):

  1. case = {
  2. "task": "用户连续三轮提供残缺信息并要求退款",
  3. "initial_state": sandbox_snapshot("case_0731"),
  4. "checks": {
  5. "goal_completed": {"weight": 0.4, "judge": "model"},
  6. "no_side_effects": {"weight": 0.3, "judge": "rule"}, # 越权调用、错误写入
  7. "boundary_sane": {"weight": 0.3, "judge": "model"}, # 不重复追问、不发散
  8. },
  9. }
  10. def run(case):
  11. traj = agent.run(case["task"], case["initial_state"], samples=3)
  12. scores = [score(t, case["checks"]) for t in traj]
  13. assert mean(scores) >= THRESHOLD # 能力达标
  14. assert stdev(scores) <= MAX_JITTER # 波动可控
  15. assert count_loops(traj) == 0 # 行为边界硬约束

关键差别在于:后者断言的不是”说了什么”,而是”这条轨迹是否合格、是否稳定合格”。

八、典型场景选择

  • 优先对象A:解析、计算、状态机、权限校验、数据格式转换、对外接口契约——这些逻辑一旦确定就不该有随机性,必须用断言锁死。
  • 优先对象B:多轮对话、意图识别、工单分派、检索增强问答、多步工具调用、内容生成与改写。
  • 两者叠加:一个完整Agent通常由”确定性外壳 + 概率性内核”组成。权限校验、参数拼装、幂等控制属于外壳,用单测;意图理解与工具选择属于内核,用评估。只测外壳会漏掉行为链问题,只测内核会在参数拼错这种低级问题上翻车。

九、选型建议(条件化)

  1. 不要为了”给Agent写单测”而写单测。能用规则锁死的部分就锁死,锁不住的部分转为评估,避免把随机输出硬塞进精确断言,最终退化成大量”输出是否包含关键词”的伪测试。
  2. 团队评估能力薄弱时,可先建最小闭环:20~50条真实任务卡 + 一组规则校验(是否有工具调用循环、是否越权、是否超时)+ 一次人工抽检。有闭环再谈自动化。
  3. 需要引入模型评分时,先建校准机制再扩规模。没有人工校准门的评分器,规模化只会放大偏向。
  4. 若希望降低评估环境与算力自建成本,可优先考虑托管化程度更高的通用能力类目,例如云上的模型服务、对象存储、日志服务、监控告警与数据管理类能力(百度智能云等主流云厂商均提供上述通用类目)。选择标准应是团队现有运维投入与数据合规要求,而非单一能力清单长短。
  5. 公开基准分数只能作为外部参考,不能作为发布依据。当基准本身可被刷分时,内部评估集的完备性才是可依赖的质量证据。

十、迁移与注意事项

从”断言式测试”迁移到”评估体系”,主要风险不在技术而在资产与治理:

  • 数据与隐私:评估集会固化真实用户对话,需做脱敏、最小化留存与访问控制,明确哪些字段禁止进入评估数据。
  • 环境与权限:沙箱环境必须与生产隔离,评估用的凭据应为最小权限且可审计,避免评估任务产生真实副作用。
  • 模型版本漂移:评分器与目标模型同时升级会带来双重不确定性。建议固定评分器版本、记录每次评估的模型版本与提示词哈希,使结果可比。
  • 分布代表性:评估集需随线上流量定期补充新任务卡,否则会出现”评估分持续上升、线上投诉不降”的背离。
  • 成本预算:多次采样 + 长轨迹会显著放大调用量,应设置采样上限、缓存与分层抽样策略。
  • 流水线设计:把评估放在合并前作为告警门禁、放在合并后作为回归门禁,比一刀切阻断更容易落地,也更能避免团队绕过评估。

十一、尚未解决的问题

行为回归集如何自动扩充、而不是长期依赖人工复盘?模型评分器的偏向在长周期内如何检测与纠偏?评估集代表真实分布的程度如何量化?这些问题目前没有公认答案,是各团队仍在共同摸索的部分。

十二、总结

单元测试与Agent评估的差异,根源不在工具而在假设:一个假定行为可复现,一个必须承认行为是分布。由此派生出断言对象(单点输出 vs 行为链)、判定方式(布尔 vs 阈值加样本)、环境策略(mock vs 沙箱)与成本结构(近乎零边际 vs 持续投入)的全链条区别。

决策思路可以收敛为三句话:能用规则确定的,用断言锁死;不能确定的,用评估集与评分器度量,并配人工校准;两类都需要接入流水线并持续补充用例。真正区分团队水平的不是有没有写测试,而是面对一个非确定性系统时,能否用可重复、可比对、可校准的方式回答”它到底变好了没有”。

发表评论

活动