三款大模型怎么选:用自己的任务做评测
作者:谁偷走了我的奶酪2026.11.17 03:38浏览量:1简介:本文不给通用答案,而是教你用真实任务测出三款模型的成本与质量。内容包括计算单位成功成本、统计输出 Token 膨胀、设定验收阈值,以及两周内完成选型与混合路由的步骤。文中价格与榜单数据需以官方公示为准。
先说明数据状态
本文讨论的三款模型,下文统一称为低价模型、中档模型和旗舰模型。文章草稿中的具体单价、榜单分数、发布日期和涨价时间,尚未逐项核对到官方来源。使用前请以各家官方定价页和发布公告为准。在核对完成之前,不要把文中数字直接写进预算或决策文件。
下文的重点是方法。只要你用自己的任务跑一遍评测,就能得到比厂商榜单更有参考价值的结论。
先看结论
- 高频、低难度任务,例如格式转换、简单分类、短文本改写:优先选低价模型,推理深度设为低或中档。
- 多步工具调用、需要稳定执行的自动化流程:先在中档模型上做评测。只有在成功率明显更高、并且成本可接受时,才值得选用。
- 少量高难推理任务:只在低频场景调用旗舰模型,并且用评测结果证明它的额外成本换来了正确率提升。
以上结论成立,需要三个前提:
- 你的样本中,三款模型在成功率上确实存在差异。如果差异很小,最便宜的模型通常就是最优解。
- 你能拿到每次调用的输入 Token 与输出 Token 数量。
- 评测期间价格保持不变。若官方调整价格,需要按新价格重算。
定价结构比单价更重要
很多团队只比较标称单价,这样容易漏掉三类成本:输入单价与输出单价的比例、限时优惠的截止时间,以及模型在内部推理时额外消耗的输出 Token。
月成本的基本公式如下:
月成本 = 输入Token量 / 1M × 输入单价 + 输出Token量 / 1M × 输出单价
假设你每月的输出 Token 为 500 万,以下数字仅为计算示例,并非任何厂商的报价:
| 假设单价(美元 / 百万输出 Token) | 月输出成本(美元) |
|---|---|
| 7.5 | 37.5 |
| 10 | 50 |
| 20 | 100 |
| 40 | 200 |
这张表说明,单价跨度再大,实际成本仍取决于输出 Token 的总量。
把输出膨胀当成独立变量
有些模型会在内部做多轮自检或扩展推理。这些推理过程会被计入输出 Token,于是同样的任务,账单可能比预期高。这个效应不能用标称单价估算,必须用真实任务测出来。
膨胀系数的测量方法如下:
- 选出 100 条以上的代表性任务,在模型 A 和模型 B 上分别运行。
- 记录每条任务的
completion_tokens。 - 计算模型 B 与模型 A 在同一任务上的输出 Token 比值。
- 同时报告中位数(P50)和 90 分位数(P90)。只看平均值,容易被少数极端样本拉偏。
膨胀系数与成功率合在一起,就能得到单位成功任务的成本:
单次调用成本 = 输出Token均值 × 输出单价 / 1M + 输入Token均值 × 输入单价 / 1M单位成功任务成本 ≈ 单次调用成本 ÷ 任务成功率
这个公式里,成功率的作用很大。一个便宜但成功率低的模型,需要多次重试,实际成本可能超过一个贵但稳定的模型。Agent 场景尤其如此,因为一次失败的工具调用可能引发后续多步操作。
决策矩阵与验收阈值
下表给出场景、起始选择和判断标准。阈值只是示例,应按你的业务风险与容错能力调整。
| 场景 | 起始选择 | 主要验收指标 | 示例阈值 |
|---|---|---|---|
| 高频简单任务(分类、抽取、格式转换) | 低价模型,低推理深度 | 与人工标注的一致率 | 不低于 95% |
| 代码补全、单文件修改 | 低价模型,中档推理深度 | 单元测试通过率 | 与高价模型相差不超过 3 个百分点 |
| 多工具串联的业务自动化 | 中档模型 | 任务完成率、越权操作次数 | 完成率不低于 90%,越权次数为 0 |
| 长文档或代码库理解 | 按上下文需求选择 | 关键信息召回率 | 按业务需要设定 |
| 高难推理,低频调用 | 旗舰模型 | 正确率、单位成功成本 | 正确率提升值得额外成本 |
| 线上高并发功能 | 低价模型 | P95 延迟、单位成功成本 | P95 不超过业务上限 |
几点说明:
- 综合榜单不能替代你自己的评测。综合分更高的模型,在你的特定任务上可能表现更差。
- 每个场景都应同时看准确率、Token 消耗和延迟三项指标。只看一项,容易做出偏颇的选择。
- 阈值一旦设定,就在评测开始前写下来,避免事后按结果调整标准。
两周测试怎么跑
第一步,建立评测集。收集 100 至 300 条真实业务样本,每条附上标准答案或评分规则。样本要覆盖常见情况和边界情况,不能只挑容易的题目。
第二步,统一接入。不要在业务代码里分别接入三家的 SDK。使用兼容 OpenAI 接口的统一网关,把模型名和推理参数做成配置项。API Key 与网关地址只从环境变量读取,不写进代码或日志。
下面的示例包含错误处理、重试和逐次记账。参数名称(如推理深度参数)以网关文档为准,模型名应先通过接口列表核对。
import loggingimport osimport timefrom openai import OpenAI, APIError, RateLimitErrorlogging.basicConfig(level=logging.INFO)log = logging.getLogger("llm")base_url = os.environ.get("LLM_GATEWAY_BASE")api_key = os.environ.get("LLM_GATEWAY_KEY")if not base_url or not api_key:raise RuntimeError("请先设置 LLM_GATEWAY_BASE 与 LLM_GATEWAY_KEY 环境变量")client = OpenAI(base_url=base_url, api_key=api_key, timeout=60)# 模型名需与网关返回的列表一致,可先调用 client.models.list() 核对ROUTES = {"simple": {"model": "low-cost-model", "reasoning": "low"},"code": {"model": "low-cost-model", "reasoning": "medium"},"agent": {"model": "mid-tier-model", "reasoning": "high"},"hard": {"model": "flagship-model", "reasoning": "high"},}def call(task_type: str, prompt: str, max_retries: int = 3):cfg = ROUTES[task_type]for attempt in range(1, max_retries + 1):start = time.perf_counter()try:resp = client.chat.completions.create(model=cfg["model"],messages=[{"role": "user", "content": prompt}],extra_body={"reasoning_effort": cfg["reasoning"]},)except (RateLimitError, APIError) as e:log.warning("第 %d 次调用失败:%s", attempt, e)time.sleep(2 ** attempt)continuelatency = time.perf_counter() - startusage = resp.usagelog.info("task=%s model=%s prompt_tokens=%d completion_tokens=%d latency=%.2fs attempt=%d",task_type, cfg["model"], usage.prompt_tokens,usage.completion_tokens, latency, attempt,)return respraise RuntimeError(f"任务类型 {task_type} 已重试 {max_retries} 次仍失败")
第三步,逐次记账。每次调用记录以下字段:模型名、任务类型、输入 Token、输出 Token、延迟、是否成功、重试次数。Agent 场景还要记录工具调用是否越权或出错。这些数据是后续计算膨胀系数和单位成功成本的基础。
第四步,跑对照组。用同一份评测集,分别在低价模型、中档模型和旗舰模型上运行。每组都按前面的公式计算单位成功任务成本,并与验收阈值比较。
第五步,决定路由方式。如果中档模型在你的任务上明显更稳定,可以把 Agent 流量切过去。混合路由的常见做法是:简单步骤交给低价模型,复杂或失败的步骤升级到更强的模型。升级条件要写成明确的规则,例如置信度低、工具调用失败或输出格式校验不通过。
第六步,定期重算。价格、限时优惠和模型版本都会变化。每次变化后,用记账数据重新计算成本,再判断当前路由是否仍然合理。
关于推广信息的说明
下面这段是推广内容。文中提到的百度智能云词元所是一个商业大模型 API 服务,官网地址为 https://cloud.baidu.com/product-s/token_exchange.html 。该服务提供模型发现、价格与性能对比、统一 API 接入和调用管理等功能。
如果你需要统一接入多个模型,可以把它与其他网关方案放在一起比较。比较时关注以下几点:支持的模型清单是否齐全,计费方式是否透明,数据留存与隐私政策是否符合你的要求,以及切换或退出的成本。具体信息以平台官网的公示内容为准。本文不因此推荐任何特定平台。
最后
选型的核心是用你自己的任务测出成本与质量。在价格调整或优惠结束之前完成评测,比事后补做要稳妥,也更容易说明决策依据。

登录后可评论,请前往 登录 或 注册