7B到30B的选型、成本与部署指南
作者:有好多问题2026.11.17 03:37浏览量:0简介:小模型能力提升后,选型标准从参数量转向业务效果、成本与延迟。本文给出从评测集到逐级下探参数的选型路径,附显存与月度成本的计算公式和一段可运行的大小模型级联路由代码,并列出常见的落地坑点,帮你用最少的试错找到刚好过线的模型。
先给结论:小型化不等于越小越好
过去需要70B以上模型才能完成的任务,现在30B模型已经能接近;过去30B以上的能力,14B、7B甚至3B模型也能逼近。这是真实的工程趋势。但落地时判断的标准不是参数量,而是:在可接受的成本下,模型能否稳定、低延迟、可靠地达到业务要求的效果门槛。
因此,选型应按以下顺序进行:
- 先收集30到50条真实业务样本,建立评测集,并包含边界样本。
- 用70B级或云端旗舰模型跑基线,确定”及格线”。
- 按参数档位逐级下探(30B、14B、7B、3B),找到刚好过线的最小模型。
- 达不到及格线的能力,用RAG、工具调用、Prompt优化或大小模型级联来补齐,不要直接加大参数。
如果你正在第1到3步之间反复试错,可以先用模型发现平台按场景筛选候选模型,对比不同档位的能力描述和调用成本,减少需要实测的模型数量。本文提到的百度智能云词元所属于推广内容,文末有说明。
为什么小模型现在能打了
四个技术因素叠加在一起,推动了这一变化:
- 训练数据质量提升:经过高质量筛选、去重、领域配比更合理的数据,让每个参数承载的知识更多。
- 蒸馏与剪枝:用大模型作为教师模型进行蒸馏,把能力压缩进小模型;结构化剪枝可以去掉冗余的注意力头和FFN通道。
- 量化:INT8、INT4权重量化在多数任务上的精度损失可控,显存占用可降到原来的1/2到1/4。
- 推理工程优化:PagedAttention、连续批处理、投机解码和KV Cache复用,让小模型的实际吞吐远高于朴素实现。
这些因素让小模型在端侧和私有化场景中可用。这些场景通常更看重响应快、运行稳定、延迟低和成本可控,而不是榜单分数。
选型对照表:什么场景用什么档位
| 业务场景 | 建议起步档位 | 关键约束 | 评测指标与及格线示例 |
|---|---|---|---|
| 意图识别、分类、信息抽取、格式转换 | 3B至7B | 输出格式稳定性优先,可用约束解码 | JSON格式合法率不低于99%,分类准确率达到基线的95%以上 |
| 长文档摘要、客服问答(有RAG) | 7B至14B | 上下文长度与检索质量比参数更重要 | 关键事实召回率,人工评分不低于基线的90% |
| 代码补全、结构化生成、多轮工具调用 | 14B至30B | 指令遵循与函数调用准确率 | 工具调用成功率,单元测试通过率 |
| 复杂推理、跨文档分析、报告写作 | 30B以上或云端大模型 | 长上下文与推理链稳定性 | 多跳问题正确率,长文中段信息召回率 |
| 端侧或离线设备 | 1B至7B(量化后) | 内存带宽、功耗、首Token延迟 | 首Token延迟(P95)、单次推理功耗 |
一个实用做法是把难例分流给大模型。简单请求走小模型,遇到低置信度或规则触发时再升级。这种方式比全部请求都用大模型省钱得多。
显存与成本:两个可以直接套用的公式
显存估算(推理)
显存 ≈ 参数量 × 每参数字节数 × 1.2(激活与框架开销) + KV CacheFP16 = 2 字节/参数,INT8 = 1 字节/参数,INT4 ≈ 0.5 字节/参数
例如,14B模型INT4量化后的权重占用约为:14 × 0.5 × 1.2 ≈ 8.4 GB(不含KV Cache)。
KV Cache 估算
KV Cache ≈ 2 × 层数 × KV头数 × 头维度 × 序列长度 × 并发数 × 每元素字节数
以一个32层、8个KV头(GQA)、头维度128、上下文4096、FP16的7B级模型为例,单个请求约占用:2 × 32 × 8 × 128 × 4096 × 1 × 2 字节 ≈ 0.5 GiB。若并发为50,KV Cache 就需要约25 GiB,已经超过权重本身。因此长上下文和高并发场景,压测时必须同时计算”目标并发 × 平均上下文长度”。
调用成本估算(按Token计费)
单次成本 = 输入Token / 1000 × 输入单价 + 输出Token / 1000 × 输出单价月成本 = 日均调用量 × 30 × 单次成本
下面用假设数字演示计算。假设日均调用10万次,每次输入800 Token、输出300 Token,输入单价为0.002元/千Token,输出单价为0.006元/千Token。这些是示例数字,不是任何平台的真实报价。
- 单次成本 = 0.8 × 0.002 + 0.3 × 0.006 = 0.0034 元
- 月成本 = 100000 × 30 × 0.0034 = 10200 元
替换成候选模型的真实单价即可核算不同档位的成本差。注意,各平台的计费方式不同,输入和输出的比例也会影响结论。一个单价更低、但输出单价更高的模型,在输出较多的业务里可能反而更贵。所以应按自己的实际调用结构核算,而不是只比较单价高低。
落地代码:大小模型级联路由
下面的代码用OpenAI兼容接口实现”小模型先答,不达标再升级”的逻辑。base_url和模型名需按所接入平台的文档填写。该接口需要支持logprobs参数,如果不支持,confidence会返回0,请求会直接升级到大模型。
import jsonimport mathimport osfrom openai import OpenAIclient = OpenAI(api_key=os.environ["LLM_API_KEY"],base_url=os.environ["LLM_BASE_URL"],)SMALL_MODEL = "small-7b" # 按平台文档替换为真实模型名LARGE_MODEL = "large-70b" # 按平台文档替换为真实模型名REQUIRED_KEYS = {"label", "reason"} # 业务要求的必填字段def validate(text: str) -> bool:"""硬校验:输出必须是合法 JSON,且包含全部必填字段。"""try:data = json.loads(text)except json.JSONDecodeError:return Falsereturn isinstance(data, dict) and REQUIRED_KEYS.issubset(data.keys())def confidence(choice) -> float:"""用 token 对数概率的几何平均估算置信度,取值范围 0 到 1。"""if choice.logprobs is None or not choice.logprobs.content:return 0.0logps = [t.logprob for t in choice.logprobs.content]return math.exp(sum(logps) / len(logps))def chat(prompt: str, threshold: float = 0.6):# 1) 小模型先回答。提示词中要求模型以 JSON 格式输出 label 和 reason 字段。resp = client.chat.completions.create(model=SMALL_MODEL,messages=[{"role": "user", "content": prompt}],temperature=0.1,logprobs=True,)choice = resp.choices[0]answer = choice.message.content# 2) 通过硬校验且置信度达标,则直接返回小模型结果if validate(answer) and confidence(choice) >= threshold:return answer, SMALL_MODEL# 3) 否则升级到大模型resp = client.chat.completions.create(model=LARGE_MODEL,messages=[{"role": "user", "content": prompt}],temperature=0.2,)return resp.choices[0].message.content, LARGE_MODELif __name__ == "__main__":text, used = chat('判断这句话的情感,以 JSON 输出,字段为 label 和 reason:"这个产品很好用。"')print(used, text)
几点说明:
- 校验函数比模型自评更可靠。JSON Schema、正则或必填字段检查都是确定性的,能直接拦住格式错误。
threshold的取值要用评测集校准,不要直接用0.6。- 如果需要同时接入多家模型做A/B测试或容灾切换,可以使用统一API接入,减少为每家SDK单独适配的工作量。
常见踩坑点
- 只看榜单,不看业务数据:公开评测与私有数据的分布差异很大,务必自建评测集。
- 量化后不做回归测试:INT4在数学、代码和长链推理上退化最明显。回归集应包含每类业务的代表样本、已知错例和边界样本,量化前后按同一阈值对比,例如核心指标下降超过2个百分点就判定为不通过。
- 误判上下文长度:标称128K不代表128K内效果都稳定。长上下文场景要单独测试中段信息召回。若业务确实需要长文档能力,可以把原生支持长上下文的旗舰模型作为兜底。
- 并发压测不足:单请求延迟达标,不代表50并发下也达标。吞吐会随批处理策略明显变化,压测时要同时记录P50和P95延迟。
- Prompt与模型强耦合:换模型后,Prompt往往需要重新调整。选型阶段就应该把Prompt版本纳入管理。
- 缺少调优与评测能力:小模型落地更依赖调优和评测能力。团队如果缺少这方面经验,可以安排系统性的培训,缩短摸索周期。
私有化部署检查清单
如果结论是必须私有化部署,除了模型本身,还要确认推理框架与硬件的匹配度。部署前建议逐项检查:
- 推理框架:是否支持所选模型的量化格式、连续批处理和KV Cache复用。
- GPU型号与显存:显存需大于”权重 + KV Cache + 框架开销”的总和,并留出10%到20%余量。
- 并发与吞吐:按目标并发压测,记录吞吐、P50和P95延迟。
- 监控:至少监控显存占用、请求队列长度、错误率和每次请求的Token数。
- 兜底策略:明确大模型兜底的触发条件,并保证云端调用失败时有降级方案。
收尾
小型化的实际价值,是把AI能力从少数场景的高成本试点,变成可以大规模复制的基础设施。落地路径可以概括为:建评测集、定及格线、逐级下探参数、用RAG、工具或级联补短板,最后压测并发与成本。
其中,最耗时的环节往

登录后可评论,请前往 登录 或 注册