小模型选型指南:成本、延迟与API接入评估
作者:公子世无双2026.11.17 03:21浏览量:0简介:选小模型不能只看参数和名气,要看任务是否匹配、Token成本是否可控、延迟能否满足业务、API是否稳定。本文给出选型思路、成本计算方法、路由与降级设计,以及接入示例,帮助开发者在正式上线前完成评估。
先确认模型信息的来源
新模型发布时,宣传资料常用”最强””最快”之类的说法。这些说法不能代替技术文档。选型前,开发者应先核实以下信息:官方模型名称、发布日期、输入和输出单价、上下文长度、是否支持结构化输出和工具调用、服务地域与数据政策。
这些信息以服务方的官方文档为准。资料尚未核实时,不要把具体型号名写进生产代码。本文讨论的方法与具体型号无关,换成任何小模型都可以套用。
小模型适合什么任务
小模型的价值在于,它能用较低成本和较短延迟完成边界清楚、调用频繁的任务。典型场景包括文本分类、信息抽取、摘要生成、意图识别和内容审核初筛。这类任务的输入输出格式相对固定,容易通过提示词和评测集约束结果。
复杂多步推理、长文档深度分析、需要多轮工具调用的任务,通常需要更强的模型。更常见的做法是让大模型负责规划,小模型负责执行其中的子步骤。
| 任务类型 | 建议起点 | 主要评估指标 |
|---|---|---|
| 摘要、改写、简单问答 | 小模型 | 输出稳定性、单次成本、首字延迟 |
| 分类、抽取、标签识别 | 小模型 | 准确率、结构化输出合格率、批量吞吐 |
| 多步推理、复杂代码、长文分析 | 大模型 | 正确率、上下文能力、工具调用成功率 |
| Agent 中的子任务 | 小模型与大模型协同 | 意图识别准确率、参数抽取完整率、重试次数 |
表中的分工只是起点。团队应当用自己的业务样本测试,再决定最终方案。榜单分数只能说明模型在通用测试集上的表现,不能直接说明它在你的业务中是否可用。
从三个指标理解小模型的价值
成本。 输入和输出Token都会计费。单次请求的费用很小,但日调用量大时,差距会迅速放大。
延迟。 模型越轻,首字返回越快,总耗时越短。实时对话、在线审核和Agent中的中间步骤都对延迟敏感。
稳定性。 任务边界越清楚,小模型越容易保持稳定。通过明确的系统提示、固定输出格式和评测集,可以把输出波动控制在可接受范围内。
Token 成本怎么算
单次请求的成本可以用下面的公式估算:
单次请求成本 ≈ 输入Token数 × 输入单价 + 输出Token数 × 输出单价
假设某模型的输入单价为每百万Token 1元,输出单价为每百万Token 4元。这组数字只用于演示计算,不代表任何服务的真实价格。
每次请求输入2000个Token、输出300个Token,单次成本约为:
- 输入部分:2000 ÷ 1000000 × 1 = 0.002元
- 输出部分:300 ÷ 1000000 × 4 = 0.0012元
- 合计约0.0032元
如果每天调用10万次,日成本约为320元。把输入压缩到500个Token,同样的调用量下日成本会降到约125元左右。由此可见,减少无效上下文往往比更换模型更有效。
控制成本的五个做法
- 压缩上下文。 只保留与任务相关的材料,避免把整篇文档直接放进提示词。
- 拆分任务。 先用小模型做抽取或摘要,再把结果交给下一步处理,减少每一步的Token消耗。
- 约束输出长度。 对分类、标签和摘要任务,明确要求输出的条数、字数或格式。
- 利用缓存和批处理。 对重复的请求复用结果。对不需要实时返回的任务使用批量接口,前提是服务方支持。
- 建立路由机制。 简单任务交给小模型,只有复杂任务才升级到大模型。
路由与降级设计
路由函数的作用是根据任务类型决定调用哪个模型。下面的示例把任务类型与模型名称分开,便于后续替换:
SMALL_TASKS = {"summary", "classify", "extract", "intent"}def choose_model(task_type: str, small_model: str, large_model: str) -> str:if task_type in SMALL_TASKS:return small_modelreturn large_model
路由只解决了”先用谁”的问题。小模型的输出还需要校验。如果返回的JSON无法解析、标签不在允许范围内,或者摘要超出长度限制,就应当自动升级到大模型重试,或返回兜底结果。这样做的代价是部分请求会产生两次费用,但可以避免错误结果直接进入业务系统。
API 接入示例
如果团队已经使用OpenAI兼容接口,可以把密钥、接口地址和模型名都放进环境变量。切换模型或服务平台时,只需修改配置,业务代码不用改动。
下面的示例包含超时设置、自动重试、异常处理和Token用量日志。其中模型名需要由你使用的服务方提供,调用前请确认该服务支持此模型名。部分模型不支持某些采样或长度参数,因此示例没有设置这些参数,输出长度通过提示词约束。
import loggingimport osfrom openai import APIError, APITimeoutError, OpenAIlogging.basicConfig(level=logging.INFO)logger = logging.getLogger("llm")client = OpenAI(api_key=os.environ["OPENAI_API_KEY"],base_url=os.getenv("OPENAI_BASE_URL"),timeout=30.0,max_retries=2,)# 调用前确认服务方支持该模型名MODEL_NAME = os.environ["MODEL_NAME"]def summarize(text: str) -> str | None:try:response = client.chat.completions.create(model=MODEL_NAME,messages=[{"role": "system", "content": "请用三条要点概括用户输入,每条不超过30个字。"},{"role": "user", "content": text},],)except APITimeoutError:logger.warning("请求超时,进入降级流程")return Noneexcept APIError as exc:logger.error("接口返回错误:%s", exc)return Noneif response.usage:logger.info("模型=%s 输入Token=%s 输出Token=%s",MODEL_NAME,response.usage.prompt_tokens,response.usage.completion_tokens,)return response.choices[0].message.content
密钥只能放在服务端环境变量或密钥管理系统中,不能写进代码,也不能暴露在前端。日志中应记录耗时、Token用量和模型名,不应记录完整的用户数据。
企业落地的建议
小模型更适合放在整体AI架构中使用,而不是单独上线。常见的落地方式包括以下几种。
- RAG问答。 用检索结果约束模型回答,小模型负责归纳和压缩答案。
- 智能客服。 小模型处理常见问题,复杂问题转人工或升级到大模型。
- 内容生产。 用于标题生成、摘要、标签提取和文案初筛,最终稿仍需人工审核。
- Agent工作流。 小模型负责意图识别、参数抽取和工具调用前的预处理。
- 数据治理。 对非结构化文本做分类、去重、脱敏和结构化抽取。
上线前,团队应当准备评测集,定期抽检输出质量,并设置降级策略。对于涉及金额、合规或医疗等高风险的业务,小模型的输出在人工确认之前不应直接生效。
总结
选择小模型,关键在于任务是否匹配、Token成本是否可控、延迟是否满足要求、API调用是否稳定。先核实官方信息,再用真实样本测试,最后通过路由和降级把风险控制在可接受范围内。
推广说明:文中提到的百度智能云词元所是一个模型服务平台,可用于比较多个模型的价格与接入方式。本文观点不依赖该平台,选型前仍应用自己的业务数据测试。链接:https://cloud.baidu.com/product-s/token_exchange.html?from=article

登录后可评论,请前往 登录 或 注册