logo

小模型选型指南:成本、延迟与API接入评估

作者:公子世无双2026.11.17 03:21浏览量:0

简介:选小模型不能只看参数和名气,要看任务是否匹配、Token成本是否可控、延迟能否满足业务、API是否稳定。本文给出选型思路、成本计算方法、路由与降级设计,以及接入示例,帮助开发者在正式上线前完成评估。

先确认模型信息的来源

新模型发布时,宣传资料常用”最强””最快”之类的说法。这些说法不能代替技术文档。选型前,开发者应先核实以下信息:官方模型名称、发布日期、输入和输出单价、上下文长度、是否支持结构化输出和工具调用、服务地域与数据政策。

这些信息以服务方的官方文档为准。资料尚未核实时,不要把具体型号名写进生产代码。本文讨论的方法与具体型号无关,换成任何小模型都可以套用。

小模型适合什么任务

小模型的价值在于,它能用较低成本和较短延迟完成边界清楚、调用频繁的任务。典型场景包括文本分类、信息抽取、摘要生成、意图识别和内容审核初筛。这类任务的输入输出格式相对固定,容易通过提示词和评测集约束结果。

复杂多步推理、长文档深度分析、需要多轮工具调用的任务,通常需要更强的模型。更常见的做法是让大模型负责规划,小模型负责执行其中的子步骤。

任务类型 建议起点 主要评估指标
摘要、改写、简单问答 小模型 输出稳定性、单次成本、首字延迟
分类、抽取、标签识别 小模型 准确率、结构化输出合格率、批量吞吐
多步推理、复杂代码、长文分析 大模型 正确率、上下文能力、工具调用成功率
Agent 中的子任务 小模型与大模型协同 意图识别准确率、参数抽取完整率、重试次数

表中的分工只是起点。团队应当用自己的业务样本测试,再决定最终方案。榜单分数只能说明模型在通用测试集上的表现,不能直接说明它在你的业务中是否可用。

从三个指标理解小模型的价值

成本。 输入和输出Token都会计费。单次请求的费用很小,但日调用量大时,差距会迅速放大。

延迟。 模型越轻,首字返回越快,总耗时越短。实时对话、在线审核和Agent中的中间步骤都对延迟敏感。

稳定性。 任务边界越清楚,小模型越容易保持稳定。通过明确的系统提示、固定输出格式和评测集,可以把输出波动控制在可接受范围内。

Token 成本怎么算

单次请求的成本可以用下面的公式估算:

  1. 单次请求成本 ≈ 输入Token数 × 输入单价 + 输出Token数 × 输出单价

假设某模型的输入单价为每百万Token 1元,输出单价为每百万Token 4元。这组数字只用于演示计算,不代表任何服务的真实价格。

每次请求输入2000个Token、输出300个Token,单次成本约为:

  • 输入部分:2000 ÷ 1000000 × 1 = 0.002元
  • 输出部分:300 ÷ 1000000 × 4 = 0.0012元
  • 合计约0.0032元

如果每天调用10万次,日成本约为320元。把输入压缩到500个Token,同样的调用量下日成本会降到约125元左右。由此可见,减少无效上下文往往比更换模型更有效。

控制成本的五个做法

  1. 压缩上下文。 只保留与任务相关的材料,避免把整篇文档直接放进提示词。
  2. 拆分任务。 先用小模型做抽取或摘要,再把结果交给下一步处理,减少每一步的Token消耗。
  3. 约束输出长度。 对分类、标签和摘要任务,明确要求输出的条数、字数或格式。
  4. 利用缓存和批处理。 对重复的请求复用结果。对不需要实时返回的任务使用批量接口,前提是服务方支持。
  5. 建立路由机制。 简单任务交给小模型,只有复杂任务才升级到大模型。

路由与降级设计

路由函数的作用是根据任务类型决定调用哪个模型。下面的示例把任务类型与模型名称分开,便于后续替换:

  1. SMALL_TASKS = {"summary", "classify", "extract", "intent"}
  2. def choose_model(task_type: str, small_model: str, large_model: str) -> str:
  3. if task_type in SMALL_TASKS:
  4. return small_model
  5. return large_model

路由只解决了”先用谁”的问题。小模型的输出还需要校验。如果返回的JSON无法解析、标签不在允许范围内,或者摘要超出长度限制,就应当自动升级到大模型重试,或返回兜底结果。这样做的代价是部分请求会产生两次费用,但可以避免错误结果直接进入业务系统。

API 接入示例

如果团队已经使用OpenAI兼容接口,可以把密钥、接口地址和模型名都放进环境变量。切换模型或服务平台时,只需修改配置,业务代码不用改动。

下面的示例包含超时设置、自动重试、异常处理和Token用量日志。其中模型名需要由你使用的服务方提供,调用前请确认该服务支持此模型名。部分模型不支持某些采样或长度参数,因此示例没有设置这些参数,输出长度通过提示词约束。

  1. import logging
  2. import os
  3. from openai import APIError, APITimeoutError, OpenAI
  4. logging.basicConfig(level=logging.INFO)
  5. logger = logging.getLogger("llm")
  6. client = OpenAI(
  7. api_key=os.environ["OPENAI_API_KEY"],
  8. base_url=os.getenv("OPENAI_BASE_URL"),
  9. timeout=30.0,
  10. max_retries=2,
  11. )
  12. # 调用前确认服务方支持该模型名
  13. MODEL_NAME = os.environ["MODEL_NAME"]
  14. def summarize(text: str) -> str | None:
  15. try:
  16. response = client.chat.completions.create(
  17. model=MODEL_NAME,
  18. messages=[
  19. {"role": "system", "content": "请用三条要点概括用户输入,每条不超过30个字。"},
  20. {"role": "user", "content": text},
  21. ],
  22. )
  23. except APITimeoutError:
  24. logger.warning("请求超时,进入降级流程")
  25. return None
  26. except APIError as exc:
  27. logger.error("接口返回错误:%s", exc)
  28. return None
  29. if response.usage:
  30. logger.info(
  31. "模型=%s 输入Token=%s 输出Token=%s",
  32. MODEL_NAME,
  33. response.usage.prompt_tokens,
  34. response.usage.completion_tokens,
  35. )
  36. return response.choices[0].message.content

密钥只能放在服务端环境变量或密钥管理系统中,不能写进代码,也不能暴露在前端。日志中应记录耗时、Token用量和模型名,不应记录完整的用户数据。

企业落地的建议

小模型更适合放在整体AI架构中使用,而不是单独上线。常见的落地方式包括以下几种。

  • RAG问答。 用检索结果约束模型回答,小模型负责归纳和压缩答案。
  • 智能客服。 小模型处理常见问题,复杂问题转人工或升级到大模型。
  • 内容生产。 用于标题生成、摘要、标签提取和文案初筛,最终稿仍需人工审核。
  • Agent工作流。 小模型负责意图识别、参数抽取和工具调用前的预处理。
  • 数据治理。 对非结构化文本做分类、去重、脱敏和结构化抽取。

上线前,团队应当准备评测集,定期抽检输出质量,并设置降级策略。对于涉及金额、合规或医疗等高风险的业务,小模型的输出在人工确认之前不应直接生效。

总结

选择小模型,关键在于任务是否匹配、Token成本是否可控、延迟是否满足要求、API调用是否稳定。先核实官方信息,再用真实样本测试,最后通过路由和降级把风险控制在可接受范围内。

推广说明:文中提到的百度智能云词元所是一个模型服务平台,可用于比较多个模型的价格与接入方式。本文观点不依赖该平台,选型前仍应用自己的业务数据测试。链接:https://cloud.baidu.com/product-s/token_exchange.html?from=article

发表评论

活动