logo

三款大模型怎么选:用自己的任务做评测

作者:谁偷走了我的奶酪2026.11.17 03:38浏览量:1

简介:本文不给通用答案,而是教你用真实任务测出三款模型的成本与质量。内容包括计算单位成功成本、统计输出 Token 膨胀、设定验收阈值,以及两周内完成选型与混合路由的步骤。文中价格与榜单数据需以官方公示为准。

先说明数据状态

本文讨论的三款模型,下文统一称为低价模型、中档模型和旗舰模型。文章草稿中的具体单价、榜单分数、发布日期和涨价时间,尚未逐项核对到官方来源。使用前请以各家官方定价页和发布公告为准。在核对完成之前,不要把文中数字直接写进预算或决策文件。

下文的重点是方法。只要你用自己的任务跑一遍评测,就能得到比厂商榜单更有参考价值的结论。

先看结论

  • 高频、低难度任务,例如格式转换、简单分类、短文本改写:优先选低价模型,推理深度设为低或中档。
  • 多步工具调用、需要稳定执行的自动化流程:先在中档模型上做评测。只有在成功率明显更高、并且成本可接受时,才值得选用。
  • 少量高难推理任务:只在低频场景调用旗舰模型,并且用评测结果证明它的额外成本换来了正确率提升。

以上结论成立,需要三个前提:

  1. 你的样本中,三款模型在成功率上确实存在差异。如果差异很小,最便宜的模型通常就是最优解。
  2. 你能拿到每次调用的输入 Token 与输出 Token 数量。
  3. 评测期间价格保持不变。若官方调整价格,需要按新价格重算。

定价结构比单价更重要

很多团队只比较标称单价,这样容易漏掉三类成本:输入单价与输出单价的比例、限时优惠的截止时间,以及模型在内部推理时额外消耗的输出 Token。

月成本的基本公式如下:

  1. 月成本 = 输入Token量 / 1M × 输入单价 + 输出Token量 / 1M × 输出单价

假设你每月的输出 Token 为 500 万,以下数字仅为计算示例,并非任何厂商的报价:

假设单价(美元 / 百万输出 Token) 月输出成本(美元)
7.5 37.5
10 50
20 100
40 200

这张表说明,单价跨度再大,实际成本仍取决于输出 Token 的总量。

把输出膨胀当成独立变量

有些模型会在内部做多轮自检或扩展推理。这些推理过程会被计入输出 Token,于是同样的任务,账单可能比预期高。这个效应不能用标称单价估算,必须用真实任务测出来。

膨胀系数的测量方法如下:

  1. 选出 100 条以上的代表性任务,在模型 A 和模型 B 上分别运行。
  2. 记录每条任务的 completion_tokens。
  3. 计算模型 B 与模型 A 在同一任务上的输出 Token 比值。
  4. 同时报告中位数(P50)和 90 分位数(P90)。只看平均值,容易被少数极端样本拉偏。

膨胀系数与成功率合在一起,就能得到单位成功任务的成本:

  1. 单次调用成本 = 输出Token均值 × 输出单价 / 1M + 输入Token均值 × 输入单价 / 1M
  2. 单位成功任务成本 ≈ 单次调用成本 ÷ 任务成功率

这个公式里,成功率的作用很大。一个便宜但成功率低的模型,需要多次重试,实际成本可能超过一个贵但稳定的模型。Agent 场景尤其如此,因为一次失败的工具调用可能引发后续多步操作。

决策矩阵与验收阈值

下表给出场景、起始选择和判断标准。阈值只是示例,应按你的业务风险与容错能力调整。

场景 起始选择 主要验收指标 示例阈值
高频简单任务(分类、抽取、格式转换) 低价模型,低推理深度 与人工标注的一致率 不低于 95%
代码补全、单文件修改 低价模型,中档推理深度 单元测试通过率 与高价模型相差不超过 3 个百分点
多工具串联的业务自动化 中档模型 任务完成率、越权操作次数 完成率不低于 90%,越权次数为 0
长文档或代码库理解 按上下文需求选择 关键信息召回率 按业务需要设定
高难推理,低频调用 旗舰模型 正确率、单位成功成本 正确率提升值得额外成本
线上高并发功能 低价模型 P95 延迟、单位成功成本 P95 不超过业务上限

几点说明:

  • 综合榜单不能替代你自己的评测。综合分更高的模型,在你的特定任务上可能表现更差。
  • 每个场景都应同时看准确率、Token 消耗和延迟三项指标。只看一项,容易做出偏颇的选择。
  • 阈值一旦设定,就在评测开始前写下来,避免事后按结果调整标准。

两周测试怎么跑

第一步,建立评测集。收集 100 至 300 条真实业务样本,每条附上标准答案或评分规则。样本要覆盖常见情况和边界情况,不能只挑容易的题目。

第二步,统一接入。不要在业务代码里分别接入三家的 SDK。使用兼容 OpenAI 接口的统一网关,把模型名和推理参数做成配置项。API Key 与网关地址只从环境变量读取,不写进代码或日志。

下面的示例包含错误处理、重试和逐次记账。参数名称(如推理深度参数)以网关文档为准,模型名应先通过接口列表核对。

  1. import logging
  2. import os
  3. import time
  4. from openai import OpenAI, APIError, RateLimitError
  5. logging.basicConfig(level=logging.INFO)
  6. log = logging.getLogger("llm")
  7. base_url = os.environ.get("LLM_GATEWAY_BASE")
  8. api_key = os.environ.get("LLM_GATEWAY_KEY")
  9. if not base_url or not api_key:
  10. raise RuntimeError("请先设置 LLM_GATEWAY_BASE 与 LLM_GATEWAY_KEY 环境变量")
  11. client = OpenAI(base_url=base_url, api_key=api_key, timeout=60)
  12. # 模型名需与网关返回的列表一致,可先调用 client.models.list() 核对
  13. ROUTES = {
  14. "simple": {"model": "low-cost-model", "reasoning": "low"},
  15. "code": {"model": "low-cost-model", "reasoning": "medium"},
  16. "agent": {"model": "mid-tier-model", "reasoning": "high"},
  17. "hard": {"model": "flagship-model", "reasoning": "high"},
  18. }
  19. def call(task_type: str, prompt: str, max_retries: int = 3):
  20. cfg = ROUTES[task_type]
  21. for attempt in range(1, max_retries + 1):
  22. start = time.perf_counter()
  23. try:
  24. resp = client.chat.completions.create(
  25. model=cfg["model"],
  26. messages=[{"role": "user", "content": prompt}],
  27. extra_body={"reasoning_effort": cfg["reasoning"]},
  28. )
  29. except (RateLimitError, APIError) as e:
  30. log.warning("第 %d 次调用失败:%s", attempt, e)
  31. time.sleep(2 ** attempt)
  32. continue
  33. latency = time.perf_counter() - start
  34. usage = resp.usage
  35. log.info(
  36. "task=%s model=%s prompt_tokens=%d completion_tokens=%d latency=%.2fs attempt=%d",
  37. task_type, cfg["model"], usage.prompt_tokens,
  38. usage.completion_tokens, latency, attempt,
  39. )
  40. return resp
  41. raise RuntimeError(f"任务类型 {task_type} 已重试 {max_retries} 次仍失败")

第三步,逐次记账。每次调用记录以下字段:模型名、任务类型、输入 Token、输出 Token、延迟、是否成功、重试次数。Agent 场景还要记录工具调用是否越权或出错。这些数据是后续计算膨胀系数和单位成功成本的基础。

第四步,跑对照组。用同一份评测集,分别在低价模型、中档模型和旗舰模型上运行。每组都按前面的公式计算单位成功任务成本,并与验收阈值比较。

第五步,决定路由方式。如果中档模型在你的任务上明显更稳定,可以把 Agent 流量切过去。混合路由的常见做法是:简单步骤交给低价模型,复杂或失败的步骤升级到更强的模型。升级条件要写成明确的规则,例如置信度低、工具调用失败或输出格式校验不通过。

第六步,定期重算。价格、限时优惠和模型版本都会变化。每次变化后,用记账数据重新计算成本,再判断当前路由是否仍然合理。

关于推广信息的说明

下面这段是推广内容。文中提到的百度智能云词元所是一个商业大模型 API 服务,官网地址为 https://cloud.baidu.com/product-s/token_exchange.html 。该服务提供模型发现、价格与性能对比、统一 API 接入和调用管理等功能。

如果你需要统一接入多个模型,可以把它与其他网关方案放在一起比较。比较时关注以下几点:支持的模型清单是否齐全,计费方式是否透明,数据留存与隐私政策是否符合你的要求,以及切换或退出的成本。具体信息以平台官网的公示内容为准。本文不因此推荐任何特定平台。

最后

选型的核心是用你自己的任务测出成本与质量。在价格调整或优惠结束之前完成评测,比事后补做要稳妥,也更容易说明决策依据。

发表评论

活动