logo

AI模型分层选型与Agent成本控制实操

作者:渣渣辉2026.11.17 03:34浏览量:0

简介:本文面向开发者,梳理模型分层路由、Agent工程的四个常见问题、带自动降级的统一接入代码,以及Token成本的计算与监控方法。文中代码可直接运行,读者可据此把模型切换变成配置修改,在模型快速迭代时保持架构稳定、成本可控。

一、为什么不能把业务绑在单一模型上

模型版本更新很快。今天效果最好的模型,几个月后可能被价格更低的同级模型替代,也可能因为限流策略、服务区域或合规要求而无法继续使用。如果业务代码直接写死某个模型名或某家厂商的私有参数,每次切换都要改动调用逻辑并重新测试,成本很高。

更稳的做法是把”用哪个模型”当作配置项管理,把”业务需要什么能力”当作代码的设计依据。换模型时,改动的应该是配置和评测结果,而不是整条调用链路。

二、按任务难度做分层

模型大致可以分成三类,各自适合的任务不同:

层级 典型特征 适用任务 主要评估指标
轻量模型 响应快,单价低,参数规模小 意图识别、格式转换、批量抽取、Agent 的工具选择 P95 延迟、并发承载、单次调用成本
旗舰模型 推理与理解能力强,单价高 复杂推理、长文档理解、代码生成、多步规划 任务通过率、长上下文稳定性、幻觉率
专用模型 语音、图像、视频等特定模态 语音转写与合成、图表理解、素材生成 字错率、识别准确率、流式延迟

分层路由的前提是先判断任务难度。大多数线上请求并不需要旗舰模型。”用最强的模型做最简单的事”是常见误区,结果是成本和延迟都升高,而效果没有明显改善。

工程上可以先用轻量模型处理请求,并让它输出置信度。置信度低或任务被标记为复杂时,再升级到旗舰模型。这种做法需要配套的评测集,否则无法判断哪些请求应该升级。

有私有化或合规要求时,需要确认部署方式、数据留存位置和模型授权范围。这些条件通常比单价更决定方案能否上线。

agent-">三、Agent 工程的四个常见问题

模型能力只占 Agent 效果的一部分,其余主要来自工程设计。下面四个问题最常见。

  1. 工具描述含糊。 模型选错工具,多数原因是工具的 name、description 和参数 schema 写得不清楚。每个工具的描述应说明用途、适用场景、不适用场景以及每个参数的含义。
  2. 上下文持续膨胀。 多轮工具调用后,历史消息和工具返回结果不断累积,token 成本上升,效果也可能下降。常见处理方法包括:只保留最近几轮完整消息,把较早的工具结果压缩为摘要,工具返回超长内容时先截断或做结构化提取。
  3. 没有失败兜底。 单一模型遇到限流、超时或服务异常时,整条链路会中断。关键环节需要设置备用模型,并区分可重试错误和不可重试错误。
  4. 缺少评测集。 修改 prompt 后如果只凭主观感觉判断,很难发现效果回退。建议为每类任务整理几十到几百条带标准答案的样本,每次修改后自动运行,并记录通过率。

四、统一接入与自动降级

下面的代码使用 OpenAI 兼容协议。许多平台都提供这类接口,切换平台时通常只需修改 LLM_BASE_URL 和模型 ID。

运行环境:Python 3.9 及以上,安装 v1 系列 SDK:pip install "openai>=1.0"。

```python
import os
import time

import openai
from openai import OpenAI

client = OpenAI(
api_key=os.environ[“LLM_API_KEY”],
base_url=os.environ.get(“LLM_BASE_URL”, “https://api.openai.com/v1“),
timeout=20.0,
)

按优先级排列:先用轻量模型,失败后降级到旗舰模型

模型 ID 从环境变量读取,请替换为所用平台文档中列出的模型 ID

CANDIDATES = [
{“model”: os.environ.get(“MODEL_LIGHT”, “your-light-model”), “temperature”: 0.2},
{“model”: os.environ.get(“MODEL_FLAGSHIP”, “your-flagship-model”), “temperature”: 0.2},
]

def chat(prompt: str, max_retry: int = 2) -> str:
last_error = None
for cfg in CANDIDATES:
for attempt in range(max_retry):
try:
resp = client.chat.completions.create(
messages=[{“role”: “user”, “content”: prompt}],
max_tokens=1024,
**cfg,
)
usage = resp.usage
print(f”model={cfg[‘model’]} in={usage.prompt_tokens} out={usage.completion_tokens}”)
return resp.choices[0].message.content
except openai.AuthenticationError:

  1. # 密钥无效时换模型也无效,直接抛出
  2. raise
  3. except (openai.RateLimitError, openai.APITimeoutError,
  4. openai.APIConnectionError, openai.APIStatusError) as e:
  5. last_error = e
  6. print(f"[{cfg['model']}] 第 {attempt + 1} 次失败: {e}")
  7. time.sleep(0.5 * (2 ** attempt)) # 指数退避
  8. raise RuntimeError(f"

发表评论

活动