中型大模型选型评测指南：可复现的验证方法

一、为什么要先定评测口径

中型大模型的参数规模适中，部署成本低于大模型，适合本地化部署、微调和成本敏感的业务。但宣传材料中的参数量、上下文长度和”接近无损”等描述，通常只说明模型的理论能力。真正决定选型的，是模型在自己的硬件、自己的数据和自己的调用方式下，能否稳定完成任务。

因此，评测前应先固定口径：测试哪个版本，使用什么硬件和推理框架，采用什么采样参数，以及以什么指标判定通过。口径不清楚时，两次测试的结果无法比较，也无法复现。

二、评测对象与信息核验

先确认被测模型的完整名称、版本号、发布日期和发布来源。官方发布页、模型卡片和技术报告是首选依据。第三方转述容易丢失测试条件，例如某个分数是在哪个测试集、哪种上下文长度或哪种量化方式下得到的，转述中往往看不到这些信息。

同一系列通常包含多个参数规模和架构变体，例如稠密模型与混合专家（MoE）模型。两者的激活参数量、显存占用和推理速度差别很大，不能只用总参数量比较。应逐一记录每个变体的结构信息，并在报告中分别标注。

建议建立一张被测模型清单，至少包含以下字段：模型名称、版本、权重精度、上下文上限、许可证类型、获取方式（开源权重或API）。

三、量化精度评测

量化能降低显存占用，但精度是否受影响需要实测。本文关注两类量化：4-bit权重量化，以及KV Cache量化。两者叠加时，误差可能比单独使用时更明显。

评测方法如下：

1. 构建测试集，覆盖逻辑推理、代码生成、多语种翻译和业务相关问答。每类任务的样本数建议不少于200条。样本太少时，通过率的波动可能只是随机误差。
2. 固定温度、top-p、最大输出长度等采样参数。全精度模型和量化模型分别运行，并保存全部输出。
3. 计算两项指标：任务通过率，以及量化输出与全精度输出之间的语义相似度。语义相似度可用嵌入模型计算余弦相似度，报告中需注明所用的嵌入模型。
4. 记录峰值显存占用，并注明测量时点是推理开始前、生成过程中还是结束后。

判定标准应由业务方设定。下表中的阈值只是示例，不代表通用标准：

指标	示例阈值	说明
通过率下降	不超过2个百分点	按任务类别分别计算
语义相似度均值	不低于0.9	同时检查最低分样本
峰值显存下降	与全精度相比有明确下降	需给出具体GB数

通用基准的平均值可能掩盖长尾问题。量化模型在低频知识、罕见术语和小概率token生成上更容易偏离原模型。因此，应在自有业务数据上复测，并人工检查低分样本。

四、长上下文能力评测

百万级上下文是否可用，取决于三个问题：信息能否被找到，响应时间能否接受，显存能否承受。仅看模型支持的最大长度，无法回答这些问题。

建议采用”大海捞针”测试的变体。将一条关键信息插入长文本的不同位置，分别覆盖开头、中间和末尾，再要求模型提取该信息。测试长度应覆盖8万、30万、80万和100万tokens等多个档位，观察准确率随长度和位置的变化。

需要记录的内容包括：

• 每个档位的信息提取准确率，按插入位置分组统计
• 首字延迟与完整响应时间，报告P50和P95
• 峰值显存，以及是否出现OOM（显存溢出）
• 运行所用的GPU型号、显存容量、batch size、KV Cache配置和推理框架版本

OOM的判定标准应提前写明。进程异常退出、返回显存错误或在设定时间内无响应，三种情况都计为失败。

如果准确率随上下文深度明显下降，说明模型在长距离信息定位上有短板。此时可以把长文本切分后做检索，再把相关片段交给模型。检索增强方案的效果同样需要单独测量，不能默认有效。

能否在消费级显卡上运行，也应以实测为准。结果取决于量化方式、推理框架和上下文长度的组合，任何单一的”可用”结论都可能不成立。

agent-">五、Agent场景评测

Agent场景考察的是闭环能力：理解任务、规划步骤、调用工具、处理错误，并最终完成目标。单次回答的质量不能代表这一能力。

评测集应包含多轮、多工具的任务，例如先查询天气再写入数据库，或先检索文档再调用代码执行器验证结果。工具应在沙箱中模拟，并定义清楚的schema，包括参数名、类型和必填项。

建议记录以下指标：

• 工具调用格式合法率：输出能否被解析为合法的调用结构
• 参数提取准确率：参数值是否与用户意图一致
• 任务完成率：最终状态是否满足目标
• 错误恢复率：工具返回异常时，模型能否重试、更换工具，或向用户说明情况
• 平均工具调用次数与最大重试次数：用于判断是否出现死循环

测试时应设置最大步数，例如10步，超过步数仍未完成计为失败。工具异常场景需要单独构造，包括超时、权限不足、返回空结果和返回格式错误，每类至少测试若干次。

Agent闭环的稳定性要看重复运行的结果。每个任务建议至少运行5次，报告完成率的平均值和波动范围。只运行一次的成功，不能说明模型稳定。

六、性能与稳定性

性能测试关注不同并发下的表现。建议设置并发梯度，例如1、4、16、32，分别记录吞吐量（tokens/s）、首字延迟和错误率。每个并发等级的持续时间应足够长，避免只测到预热阶段。

稳定性测试应覆盖长时间运行。百万级上下文和高并发长连接可能带来显存碎片、KV Cache占用无法回收等问题。建议