logo

App测试智能体降低大模型调用量的实战方法

作者:快去debug2026.11.17 03:18浏览量:0

简介:App测试智能体若每一步都调用大模型,成本高、速度慢,路径也容易抖动。本文介绍如何用轻量决策层前置处理高频操作,压缩上下文,并通过历史路径召回减少重复探索。文中给出落地步骤、指标定义和常见问题,帮助团队降低调用量、提升回归稳定性。

App测试智能体慢,很多时候不是模型能力不够,而是调用方式不合理。如果每次点击、滑动、断言都让大模型重新理解页面并规划下一步,Token会大量消耗在截图、重复推理和重复路径上。

优化的核心是把高频、可枚举的决策从大模型中剥离出来,交给更轻的方案处理。下面按瓶颈、决策层、上下文压缩、路径复用、落地步骤和常见问题依次说明。

一、先看清大模型调用花在哪里

App测试智能体的成本通常集中在三类重复工作上:

消耗类型 典型表现 优化方向
截图输入 每一步都把整张截图放进上下文 改为控件树、可见元素列表或页面摘要
重复规划 页面状态没有变化,却重复推理“下一步做什么” 引入状态缓存、决策模型或规则引擎
路径重复 已走过的页面和操作路径被再次探索 用知识图谱或历史路径库召回相似路径

大模型擅长的是罕见页面、异常弹窗、复杂语义理解和无法穷举的长尾场景。高频、重复、结果可预测的操作,交给轻量方案处理更合适。

二、用决策层做前置过滤

为避免概念混淆,先定义三个术语:

  • 决策模型:小型分类模型或排序模型,输入结构化的页面状态,输出动作和置信度。
  • 规则引擎:由人工编写的判断逻辑,例如“出现‘允许通知’弹窗时点击‘允许’”。
  • 大模型:通用或多模态语言模型,只处理决策层无法稳定判断的步骤。

决策模型和规则引擎统称为轻量决策层。它位于大模型之前,负责拦截大部分常规步骤。基本流程如下:

  1. THRESHOLD = 0.85 # 起始值,需在验证集上调参
  2. def run_step(page, history):
  3. state = extract_page_state(page) # 控件树、页面标题、最近3步动作、是否存在弹窗
  4. decision = fast_policy.predict(state) # 返回 action 和 confidence
  5. if decision.confidence >= THRESHOLD:
  6. return execute(decision.action)
  7. compact = compress_context(page, history)
  8. plan = llm_planner(compact)
  9. return execute(plan)

这里有几个需要明确的细节。

第一,输入特征。extract_page_state 通常包含控件类型、控件文本、是否可点击、页面标题的哈希值、上一步动作,以及当前是否存在遮罩或弹窗。

第二,训练数据。可以从历史执行日志中提取“最终测试通过的动作序列”,并抽样人工复核,剔除误操作的样本。规则引擎则直接来自测试工程师对已知弹窗和固定流程的整理。

第三,置信度校准。模型输出的概率需要与实际正确率对齐。可以把验证集按预测概率分箱,检查每个区间的实际正确率。如果0.9的预测对应的正确率只有0.7,说明置信度偏高,需要做温度缩放等校准处理。

第四,阈值调参。THRESHOLD 的0.85只是起点。在独立验证集上,把阈值从0.5扫描到0.99,记录每个阈值下的误操作率和升级率,选择误操作率低于团队容忍线的最低阈值。

第五,异常处理。如果决策模型报错、输入字段缺失或预测结果不在合法动作集合中,直接升级到大模型,并记录日志。执行动作后,如果页面状态与预期不符,应回退到大模型路径重新规划,而不是继续沿用决策层的结果。

三、压缩上下文,不把截图原样交给模型

多模态大模型处理整张截图的成本很高。更稳妥的做法是先把页面转换成结构化信息,再按需补充视觉内容。

常见策略有四种:

  1. 截图转结构化信息:把页面转换为控件列表,包括按钮文本、输入框、页面标题和可点击区域。
  2. 只保留变化区域:页面大部分未变化时,只把新出现的弹窗、错误提示和加载状态传给模型。
  3. 页面摘要替代完整DOM:对长页面生成简短摘要,例如“订单详情页,包含返回按钮、立即支付按钮和库存风险提示”。
  4. 历史动作压缩为状态标签:不必保留完整对话历史,可以压缩为“已登录、已进首页、已点击商品、当前在支付页”这类标签。

一个压缩后的页面状态示例如下:

  1. {
  2. "page_title": "订单详情",
  3. "elements": [
  4. {"id": "btn_pay", "type": "button", "text": "立即支付", "clickable": true, "bounds": [40, 1600, 680, 1720]},
  5. {"id": "tip_stock", "type": "text", "text": "库存紧张,请尽快付款", "clickable": false}
  6. ],
  7. "overlay": null,
  8. "recent_actions": ["登录", "进入首页", "点击商品", "进入支付页"]
  9. }

控件树并不总是可用。WebView、游戏画面和自绘控件常常没有完整的控件信息。此时可以先用OCR提取文字,并截取关键区域的小图传给模型。如果OCR也无法给出可靠结果,再退回到整张截图。降级的每一步都应记录下来,方便后续统计哪些页面需要特殊处理。

四、用历史路径召回减少重复探索

登录、搜索、下单、支付、返回、切换账号等路径在测试中反复出现。每次都让智能体重新探索,既慢又贵。可以用一个轻量知识图谱保存这些路径。

图谱的基本结构如下:

  • 节点:页面、控件、弹窗、状态、测试用例。
  • 边:点击、跳转、输入、滑动、断言。每条边记录动作类型、执行结果、耗时和出现次数。
  • 属性:路径是否成功、失败类型、历史覆盖率、最近一次执行时间。

成功与失败的标注需要统一规则。只有执行完整并通过断言的路径才标记为成功。失败路径要记录失败类型,例如超时、元素缺失或断言失败,便于区分偶发问题和真实缺陷。

召回时,先计算当前页面指纹与图谱中节点的相似度,超过阈值后取最近的成功路径。阈值同样需要用验证集调参。若同一条路径在近期执行中结果不一致,应暂停复用,并交给决策层或大模型重新判断。

五、落地步骤与验收指标

建议按以下顺序推进:

  1. 梳理高频决策:统计点击、等待、断言和关闭弹窗等操作的出现频率,找出最值得前置的部分。
  2. 搭建轻量决策层:先用规则覆盖固定弹窗和固定流程,再用小模型处理剩余的高频判断,并设定初始阈值。
  3. 设计升级机制:只有低置信度、异常页面和未知组件才升级给大模型,并记录升级原因。
  4. 压缩上下文:把截图、控件树和历史记录转换为结构化摘要,并保留降级方案。
  5. 接入历史路径库:对重复路径做召回和复用,同时保留失败路径的记录。
  6. 建立评测与反馈:定期抽样检查决策结果,用误操作案例修正规则和训练数据。

上线前,建议在同一批用例上先跑一轮基线。用例数量建议不少于100条,覆盖至少三个应用版本。之后每次改动都在同一批用例上对比,统计周期建议为连续两周。以下指标的基线值和目标值应由团队自己的基线决定,不宜直接照搬他人的数字。

  • 大模型调用率:统计周期内大模型调用次数除以总步骤数。
  • 决策层升级率:因低置信度或异常而升级的次数除以决策层处理的总次数。
  • 单轮平均时延:从用例开始到结束的平均墙钟时间。
  • 路径覆盖率:执行过的页面状态数除以基线中可达的页面状态总数。
  • 回归通过率:通过的用例数除以执行的用例数。统计时应单独标出因环境问题导致的失败。
  • 单轮Token成本:单轮用例的输入Token与输出Token之和,乘以对应的单价。
  • 异常场景恢复率:遇到预设异常(如弹窗、网络错误)后自动恢复的次数,除以异常场景总数。

Token成本可以用下面的方式估算:单轮成本等于步骤数乘以每步平均输入Token,加上每步平均输出Token,再分别乘以对应单价,最后相加。估算时要把决策层的步骤与大模型的步骤分开计算,否则无法看出优化的实际效果。

六、模型选型:看总调用成本,而不只看单价

测试智能体通常需要小模型和大模型组合使用。小模型处理高频、低复杂度的判断,大模型处理复杂理解和异常情况。选型时,单价只是其中一项,还应一并考虑以下因素:

  • 平均每次调用消耗多少Token;
  • 是否需要多模态输入;
  • 首Token延迟能否满足测试的实时性要求;
  • 并发时能否保持稳定;
  • 多模型接入和调用管理是否方便。

本文包含一处推广链接。百度智能云词元所提供不同模型的能力、价格和统一接入方式的信息,可用于初步对比。正式选型前,建议以官方文档和自己的实测结果为准。

七、常见问题与规避方法

  1. 阈值设置过低:决策模型稍有不确定就升级,大模型调用量仍然居高不下。调参时应把数据切分为开发集和测试集,切分依据最好是应用版本或时间,避免同一页面同时出现在两个集合中。先在开发集上扫描阈值,再在测试集上验证。如果测试集的误操作率明显高于开发集,或某类页面只在训练数据中出现,就要怀疑存在过拟合。

  2. 上下文压缩过度:压缩时丢掉了错误提示或关键控件,大模型会误判。应保留弹窗文字、页面标题和关键控件。上线前可以抽样对比压缩结果与原始截图,检查是否遗漏了重要信息。

  3. 图谱质量差:历史路径没有标注成功或失败,召回结果会误导智能体。标注规则要在团队内统一,并定期清洗陈旧的路径。

  4. 只优化模型,不优化流程:测试流程本身重复冗余时,换模型无法解决根本问题。应先合并重复用例,复用已登录的会话,把相同的前置步骤抽成共享状态。流程优化通常比模型替换更直接地降低调用量。

按照这几个步骤推进,团队可以逐步减少大模型的调用量,同时保持测试路径的稳定。关键在于每一步都有基线和数据支撑,而不是依赖单一的优化数字。

发表评论

活动