大模型场景化评测：从榜单分数到业务选型

一、目标与榜单局限

公开榜单的综合分数由固定题集、固定评分规则和固定权重汇总而来。它回答的是“在这套题上模型整体表现如何”，无法直接回答“在我的输入形式、质量标准和预算下，哪个模型更合适”。两者之间有三处错位。

• 题型错位：榜单题目与业务请求的分布可能差异很大。榜单以英文问答为主，业务可能是中文客服工单。
• 权重错位：精确计数、多语言混排、长指令遵循等边界能力在综合分中占比很小，却常常直接决定上线后的用户体验。
• 成本错位：综合分不包含单次调用费用和响应延迟，而业务选型必须同时考虑质量与成本。

因此，榜单分数适合用来缩小候选范围。本文的方法以业务场景为单位：先定义任务，再用同一批样本在候选模型上重复运行，最后把分项结果与成本放在一起比较。

本文不给出绝对排名，也不替代线上A/B测试。它的产出是某一任务、某一质量标准、某一预算和某一调用方式下的选型结论，以及该结论能覆盖的范围。

二、维度与样本分层

2.1 评测维度

评测维度需要细到能够打分。下表是一套通用框架，团队可以按业务裁剪。权重只是起点，应根据业务风险调整。

维度	判定问题	核心指标	建议权重
功能完整性	是否覆盖需求清单中的全部任务类型	必要元素齐全率	15%
准确性	事实和关键要素是否正确	关键要素命中率	25%
指令遵循	格式、数量、长度约束是否满足	约束满足率	20%
稳定性	同一输入多次运行结果是否一致	通过率标准差	10%
边界能力	高难度输入下的表现如何	边界用例通过率	15%
成本	单位通过成本是否可接受	单位通过成本	10%
安全与合规	敏感内容与数据处理是否合规	违规输出数	5%，并设为一票否决项

面向医疗、金融等高风险场景时，应提高准确性与安全合规的权重，并把违规输出设为一票否决。

2.2 样本分层

样本代表性决定结论的覆盖范围。建议按业务出现频率和风险把样本分为四层。

层级	定义	样本量	占比
高频常规	日常高频请求，覆盖主要任务类型	300条	50%
低频长尾	出现频率低但类型多样的请求	120条	20%
边界用例	多语言混排、精确计数、长指令、遮挡关系等	120条	20%
合规样本	敏感词、个人信息、版权敏感请求	60条	10%

合计600条。样本应按真实业务分布抽取，不宜人工挑选容易的题目。若某一层样本不足，报告中需要注明该层未覆盖，结论也不能外推到该层对应的场景。

三、基线与复现

评测结论必须能被他人复现，因此需要先固定三项内容。

1. 固定版本：记录模型名称、版本号、调用日期、温度参数和最大输出长度。
2. 固定样本：样本文件附带版本号入库，测试过程中不修改。
3. 固定判定：检查表和评分规则在测试前冻结，不根据结果事后调整。

3.1 指令拆分与检查表

准确性与指令遵循应分开统计。拆分方法是把每条指令转换为若干检查项。例如，要求“生成三段摘要，每段不超过两句，并标注来源编号”，可拆为三项：段落数为三，每段句数不超过两句，每段含来源编号。每个检查项单独判定通过或失败。

检查表模板如下。

样本ID	检查项	通过条件	结果	失败记录
S001	段落数	恰好3段	通过或失败	实际段落数
S001	句数	每段不超过2句	通过或失败	超限段落编号
S001	来源编号	每段含[n]格式编号	通过或失败	缺失编号的段落

3.2 评分公式

• 单样本得分 = 通过的检查项数 ÷ 检查项总数
• 维度得分 = 该维度下所有样本得分的平均值
• 综合得分 = 各维度得分 × 对应权重 之和
• 准确性与指令遵循分开计算，不合并为一个数

3.3 重复运行与稳定性

同一样本至少运行3次，高风险场景建议运行5次。稳定性用多次运行通过率的标准差衡量。运行次数越少，标准差越不可靠，因此结论中应同时给出运行次数。

四、结果解读与成本

4.1 成本换算

模型按输入和输出的token数计费，成本换算公式如下。

• 单次任务成本 = 输入token数 ÷ 1,000,000 × 输入单价 + 输出token数 ÷ 1,000,000 × 输出单价
• 单位通过成本 = 单次任务成本 ÷ 通过率

下面用假设的价格和通过率说明计算过程，这些数字不是任何厂商的实际报价。假设输入单价为2元每百万token，输出单价为8元每百万token。单次任务输入1,000token、输出500token。

• 模型A：单次成本 = 0.002 + 0.004 = 0.006元，通过率80%，单位通过成本 = 0.006 ÷ 0.8 = 0.0075元。
• 模型B：单次成本 = 0.004元，通过率50%，单位通过成本 = 0.004 ÷ 0.5 = 0.008元。

模型B单次调用更便宜，但每得到一个合格结果的成本更高。选型时应比较单位通过成本，而不是单次价格。计算时还应考虑返工成本，即人工修正失败输出的时间。

4.2 性能口径

性能指标需要注明统计方法。首包延迟和完整响应时间应统计P50与P95分位数，并发数取业务预估峰值，测试期间保持请求分布与真实业务接近。错误率需要区分超时、限流和格式错误三类。

4.3 差距判断

两模型的综合得分差距需要结合样本量判断。若差距小于3个百分点，且某层样本量不足，应视为无法区分，需要补充测试。若差距大于3个百分点，应继续查看差距来自哪个维度，是准确性、指令遵循还是边界能力。差距来源决定了改进空间，例如指令遵循差距大时，可以通过更严格的输出格式约束缩小差距。

3个百分点是建议阈值，团队可按自身的误差容忍度调整。

五、边界用例

边界用例能暴露综合分无法反映的问题。每个用例都需要明确的判定标准，并记录失败类型和位置。

5.1 文本类

• 多语言混排：中英文夹杂的产品名与数字，要求原样保留。判定标准为专有名词拼写与格式完全一致。
• 长指令遵循：包含6条以上约束的指令。判定标准为所有检查项全部通过。
• 精确抽取：从表格中抽取指定行列的数值。判定标准为数值与原表完全一致，任何一位错误均判为失败。

5.2 图像生成类

• 精确计数：要求画面中有5只苹果。判定标准为数量恰好为5。
• 文字渲染：要求画面印有“欢迎光临”。判定标准为字符完全正确，无错字、缺字或乱码。
• 遮挡关系：要求前景物体遮挡背景物体。判定标准为遮挡方向正确。
• 多语言混排文字：同一画面中出现中英文。判定标准为两种文字均可读。
• 风格一致性：要求整幅画为水彩风格。判定标准为画面风格统一，无局部漂移。

图像类用例通常需要人工判定，建议由两名评审独立打分，分歧时由第三人裁决，并记录裁决依据。

六、上线前检查清单

下列阈值为建议值，团队应结合业务风险设定最终标准。

• 合规样本中违规输出数为0，否则不得上线。
• 准确性维度得分不低于团队设定的下限，建议不低于80%。
• 稳定性中通过率标准差不超过5个百分点。
• 边界用例通过率不低于团队设定的下限，并且失败类型已经记录。
• 单位通过成本在预算范围内。
• 报告中注明样本分层的覆盖情况、运行次数、未覆盖的场景和结论的适用范围。

七、数据与合规提示

• 数据脱敏：评测样本中的姓名、手机号、身份证号、住址和企业内部数据，应在入库前替换或删除。
• 第三方数据使用：提交样本前，确认供应商的数据使用条款，明确其是否会将输入用于模型训练。未签约的接口不应接收真实用户数据。
• 图像版权：确认生成图像的使用授权，不得用于侵犯他人商标或版权的用途。按照所在地的要求，对生成内容加注标识。
• 有害内容：测试敏感样本时，只记录模型是否拒答或违规，不保存违规输出的完整内容，避免相关内容在内部扩散。