中型MoE多模态模型评测方案与选型指南

写在前面

本文不判断某个具体模型的优劣，也不报告实测分数。它提供的是一套评测流程，供需要做选型的团队直接使用。

讨论对象是一类中型多模态MoE模型。这类模型的总参数约1220亿，单次前向计算只激活约100亿参数，采用稀疏混合专家结构，并在文本Token和视觉Token上联合训练。发布方的公开资料通常强调指令遵循、数学推理、多语言知识和工具调用等能力。但公开榜单的测试口径、数据版本和提示词格式未必与你的业务一致，正式选型时应以自己的样本和环境为准。

评测范围与不适用范围

本方案适用于以下情况：判断模型能否承担某类业务任务，比较同量级模型之间的差异，或评估私有化部署的资源需求。

本方案不适用于以下情况：替代线上灰度测试，推广到其他模型版本或其他量化方式，或在样本量很小的情况下得出确定结论。

评测维度与指标

评测不能只问“效果好不好”。下表把每个维度拆成可以计算的子指标。表中阈值是示例值，应根据业务的容忍度调整。

评测维度	子指标	计算方式	示例阈值
功能完整性	典型流程跑通率	端到端通过的用例数 / 用例总数	不低于95%
指令遵循	约束满足率	满足全部约束的样本数 / 样本总数	结构化任务不低于90%
推理准确性	标准答案正确率	与参考答案一致的样本比例	不低于基线5个百分点以内
多模态一致性	图文问答正确率	与人工标注对比	不低于同场景人工基线的90%
Agent能力	工具参数正确率、失败后恢复率	参数校验通过数、异常后完成任务数	参数正确率不低于95%，恢复率不低于70%
性能效率	P95延迟、每秒生成Token数、显存峰值	压测统计	按服务等级目标设定
稳定性	连续运行错误率	72小时内失败请求数 / 总请求数	低于0.5%
安全性	注入攻击拦截率	被拦截的恶意样本数 / 恶意样本总数	高风险样本不低于99%
易用性	接入耗时、平均排障时长	工时记录	按团队能力设定
成本结构	每千次请求成本	算力、存储与人力折算	低于预算线

评测环境与版本锁定

同一组结果只有在环境一致时才有比较价值。每次测试前，请把下列信息写入测试记录：

• 模型标识、权重文件的哈希值与许可证；
• 推理框架及版本，依赖库用pip freeze或等效命令导出；
• 量化方式，例如未量化、INT8或INT4；
• GPU型号、数量与单卡显存，CPU型号与内存大小；
• 并发策略、批处理大小、是否开启流式输出；
• 输入上下文上限与输出长度上限；
• 解码参数，包括温度、Top-p和重复惩罚；
• 请求超时时间与重试次数。

只要其中任何一项变化，就应视为新的测试批次，并重新记录基线。

任务集设计

样本是评测的基础。每类任务都需要说明样本量、通过标准和错误分类。下表给出的样本量是建议下限。

任务类别	建议样本量	通过标准	主要错误类型
通用问答	300条	与参考答案语义一致，经人工复核	事实错误、遗漏、幻觉
指令遵循	200条，每条3到8个约束	可程序校验的约束全部满足	漏约束、格式错误、否定指令失效
推理任务	200条	数学答案可程序比对，逻辑题人工复核	计算错误、推理跳步、答案格式错误
多模态任务	150条	图表读数、OCR文本与人工标注一致	读数错误、漏检元素、视觉幻觉
Agent任务	150条	工具选择、参数与最终结果均正确	选错工具、参数缺失、重复调用、中途放弃
代码任务	100条	单元测试全部通过	语法错误、逻辑错误、遗漏边界条件
安全测试	100条	恶意请求被拒绝，且无敏感信息泄露	被注入指令、越权访问、隐私泄露

样本量与结论可信度直接相关。以准确率约50%为例，单类样本为100条时，95%置信区间的半宽约为±10个百分点，样本为200条时约为±7个百分点。样本少于100条的类别，只能作为参考。

Agent任务需要模拟工具。测试时应固定工具定义、返回格式和可调用动作集合，并在部分用例中注入超时、空返回和格式错误，以观察模型的恢复能力。

数据污染检测

公开测试集可能已经出现在模型训练数据中，分数因此虚高。建议采取三项措施。第一，优先使用自有业务数据，或在模型发布之后新编写的样本。第二，用n-gram重叠检测样本与公开语料的相似度，例如以13个词为窗口，剔除重叠比例超过阈值的样本。第三，抽取部分题目，改写其中的数字或实体后重新测试。如果原题与改写题的成绩相差明显，说明模型可能记住了原题。

测试流程与代码

下面的代码给出评测主流程。model是对推理服务的适配封装，需要根据所用框架实现generate方法。evaluate_output中的校验函数应尽量程序化，无法程序化的样本由人工复核后回填结果。

```python
import time
from dataclasses import dataclass
from typing import Optional

@dataclass
class Record:
case_id: str
task_type: str
passed: Optional[bool] # None 表示未完成判定，例如超时或运行异常
latency_s: Optional[float] # 从发起请求到拿到结果的墙钟时间，单位秒
output: str
error_type: Optional[str] # 例如 timeout、runtime_error、wrong_format、wrong_answer
error_detail: Optional[str]

def evaluate_output(case, output):
“””按 case[“checks”] 逐条校验输出，返回 (是否通过, 错误类型)。
每个 check 是一个函数，输入输出文本，返回 (ok, err_type)。”””
for check in case[“checks”]:
ok, err_type = check(output)
if not ok:
return False, err_type
return True, None

def run_evaluation(cases, model, timeout_s=60):
records = []
for case in cases:
start = time.perf_counter()
try:
output = model.generate(
prompt=case[“prompt”],
image=case.get(“image”),
max_tokens=case[“max_tokens”],
temperature=0,
top_p=1.0,
timeout=timeout_s,
)
elapsed = time.perf_counter() - start
passed, err_type = evaluate_output(case, output)
records.append(Record(case[“id”], case[“type”], passed,
elapsed, output, err_type, None))
except TimeoutError as e:
records.append(Record(case[“id”], case[“type”], None,
time.perf_counter() - start, “”,
“timeout”, str(e)))
except Exception as e:
records.append(Record(case[“id”], case[“type”], None,