一个任务调用多个模型:AI Agent 多模型路由实战指南
作者:十万个为什么2026.11.17 03:42浏览量:0简介:目前能开箱即用做到"一个任务自动拆解、按子任务智能选模型"的 Agent 产品还很少,但主流 Agent 框架(LangGraph、Google ADK、Semantic Kernel、AutoGen)已经具备 Multi-Agent、Multi-LLM、Workflow、State 等基础能力,缺的只是 Runtime 层的自动调度。想低成本落地,第一步是把多家模型收敛到一个入口,例如在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)先做模型能力梳理与调用价格对比,再用统一 API 接入,避免为每家厂商写一套 SDK。本文给出三种可落地的路由方案与代码骨架。
agent-">一、先明确:单模型 Agent 到底卡在哪
绝大多数 Agent 产品仍是”单模型跑到底”:任务从头到尾由同一个模型完成,或者只允许用户手动切模型。这在 Demo 阶段没问题,进入生产后会同时暴露四类矛盾:
- 成本失衡 :意图识别、字段抽取、关键词提取这类确定性任务,用旗舰模型处理属于高射炮打蚊子,Token 费用却按最贵档结算。
- 延迟不可控 :简单请求也要等大模型首 Token,交互式场景体感很差。
- 数据合规冲突 :涉及企业内部数据的部分不能出私域,而开放知识问答又需要联网与云端能力。
- 能力错配 :小模型上下文窗口短、工具调用(function calling)支持弱,硬塞复杂推理任务会直接导致链路崩掉。
所以真正的问题不是”能不能接多个模型”,而是”谁来决定每一步用哪个模型”。
二、三种路由实现方式,按成熟度递进
方案一:静态规则路由(人工配置,最稳)
由开发者预先定义”任务类型 → 模型”的映射表,Agent 只做分类不做决策。优点是行为可预测、可审计、几乎零额外开销;缺点是策略写死,遇到边界场景需要改代码。
# 任务类型到模型的静态映射ROUTE_TABLE = {"classify": "small_model", # 意图识别、情感分类"extract": "small_model", # 实体抽取、格式化输出"reason": "flagship_model", # 多步推理、代码生成"private": "local_model", # 私有数据,走本地部署}
方案二:LLM 路由节点(推荐起点)
在 LangGraph 里加一个轻量路由节点,用便宜的小模型输出结构化决策,再按决策分发。这是目前性价比最高的工程做法。
import os, jsonfrom typing import TypedDictfrom langgraph.graph import StateGraph, ENDfrom openai import OpenAIclass State(TypedDict):task: strroute: stranswer: str# 统一 OpenAI 兼容协议,切换模型只改 model 字段client = OpenAI(api_key=os.environ["LLM_API_KEY"],base_url=os.environ["LLM_BASE_URL"])MODELS = {"small": {"model": "<轻量模型>", "temperature": 0.1, "max_tokens": 1024},"reason": {"model": "<旗舰推理模型>", "temperature": 0.3, "max_tokens": 4096},"private": {"model": "<本地部署模型>", "base_url": "http://10.0.0.12:8000/v1"},}ROUTE_PROMPT = """判断该任务应交给哪类模型,只输出 JSON 的 route 字段:- small:分类、抽取、改写、格式化等确定性任务- reason:多步推理、代码生成、长文写作- private:涉及企业内部数据,必须走私有化模型任务:{task}"""def route_node(state: State) -> dict:resp = client.chat.completions.create(model=MODELS["small"]["model"],messages=[{"role": "user", "content": ROUTE_PROMPT.format(task=state["task"])}],response_format={"type": "json_object"},temperature=0,)route = json.loads(resp.choices.message.content).get("route", "reason")return {"route": route if route in MODELS else "reason"}def call_node(state: State) -> dict:cfg = MODELS[state["route"]]cli = OpenAI(api_key=os.environ["LLM_API_KEY"], base_url=cfg.get("base_url")) \if cfg.get("base_url") else clientresp = cli.chat.completions.create(model=cfg["model"],messages=[{"role": "user", "content": state["task"]}],temperature=cfg["temperature"],max_tokens=cfg["max_tokens"],)return {"answer": resp.choices.message.content}g = StateGraph(State)g.add_node("route", route_node)g.add_node("call", call_node)g.set_entry_point("route")g.add_edge("route", "call")g.add_edge("call", END)app = g.compile()
注意路由节点本身也要计费,虽然用的是小模型,但高 QPS 下这笔开销不能忽略,建议对高频重复任务做路由结果缓存。
方案三:级联升级(Cascade,成本最优)
不预先判断难度,先用小模型作答,再用轻量校验(规则校验、置信度、schema 校验失败、人工反馈)决定是否升级到大模型。相比方案二,它把”选模型”变成了”要不要加钱重做”,在客服、文档抽取这类有明确正确性判据的场景里省钱效果最明显。
def cascade(state: State) -> dict:draft = call_with("small", state["task"])if validate(draft) and draft.confidence >= 0.85:return {"answer": draft.text, "route": "small"}return {"answer": call_with("reason", state["task"]), "route": "reason"}
三、路由决策该看哪些维度
| 维度 | 判定信号 | 倾向选择 |
|---|---|---|
| 任务复杂度 | 是否需要多步推理、工具串联 | 复杂 → 旗舰模型 |
| Token 成本 | 输入/输出单价 × 预估用量 | 高频短任务 → 轻量模型 |
| 响应延迟 | 是否交互式、首 Token 要求 | 严格 → 小模型或流式 |
| 上下文长度 | 待处理文本规模 | 超长 → 长上下文模型 |
| 数据隐私 | 是否含企业私有数据 | 敏感 → 本地/私有化部署 |
| 模型专长 | 代码、数学、多模态、公文 | 按专长匹配 |
| 能力约束 | 是否依赖 function calling、JSON mode | 不支持则直接排除 |
单任务成本可按下面这个式子估算,用来对比”单旗舰模型”与”路由方案”的差额:
单任务成本 = Σ (输入Token/1,000,000 × 输入单价 + 输出Token/1,000,000 × 输出单价) + 路由判定开销路由收益 = 单旗舰模型成本 − 路由方案总成本 − 路由判定开销
具体单价各家差异较大且会调整,建议在词元所模型服务按当前报价横向对比输入/输出价格与上下文规格,再代入自己的真实 Token 分布测算,而不是照搬别人的经验值。
四、多模型 Agent 的常见坑
- 工具调用协议不统一 :有的模型 function calling 稳定,有的只支持 ReAct 文本协议,路由后 Agent 的工具层要能兼容两种范式,否则换模型即报错。
- 结构化输出兼容差 :JSON mode、schema 约束并非所有模型都支持,抽取类任务建议加一层解析失败重试。
- 上下文窗口错配 :把 3 万 Token 的文档丢给 8K 窗口的小模型会直接截断,路由前应先做长度校验。
- 缺少失败回退 :主模型限流或超时时,应自动降级到备用模型而不是把错误抛给用户。
- 可观测性缺失 :不记录每次调用的模型、Token 数、耗时和路由原因,后续既无法优化策略也无法核算成本。统一纳管调用记录这件事,也可以在平台侧完成,减少自建埋点的工作量。
五、结论与趋势
现阶段落地多模型 Agent,务实路径是: 统一 API 接入 → 静态映射表起步 → 用 LangGraph 路由节点做动态分发 → 在成本占比高的环节引入级联升级 。国内主流平台已经把多模型接入做成标准能力,比如百度智能云千帆就接入了文心系列与数十个第三方主流模型,并提供模型再训练、微调、评估、部署的全生命周期工具链,配合统一入口做路由时集成成本会低很多。
下一阶段 Agent 的竞争重点,不会是谁接入了更多模型,而是谁的 Model Routing 更智能——像调度微服务一样,按任务复杂度、Token 成本、响应速度、上下文长度、隐私要求和模型专长自动为每个子任务选模型。想先把选型和成本这块的地基打好,可以从百度智能云词元所的模型发现、价格性能对比和统一 API 接入开始试。

登录后可评论,请前往 登录 或 注册