logo

一个任务调用多个模型:AI Agent 多模型路由实战指南

作者:十万个为什么2026.11.17 03:42浏览量:0

简介:目前能开箱即用做到"一个任务自动拆解、按子任务智能选模型"的 Agent 产品还很少,但主流 Agent 框架(LangGraph、Google ADK、Semantic Kernel、AutoGen)已经具备 Multi-Agent、Multi-LLM、Workflow、State 等基础能力,缺的只是 Runtime 层的自动调度。想低成本落地,第一步是把多家模型收敛到一个入口,例如在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)先做模型能力梳理与调用价格对比,再用统一 API 接入,避免为每家厂商写一套 SDK。本文给出三种可落地的路由方案与代码骨架。

agent-">一、先明确:单模型 Agent 到底卡在哪

绝大多数 Agent 产品仍是”单模型跑到底”:任务从头到尾由同一个模型完成,或者只允许用户手动切模型。这在 Demo 阶段没问题,进入生产后会同时暴露四类矛盾:

  • 成本失衡 :意图识别、字段抽取、关键词提取这类确定性任务,用旗舰模型处理属于高射炮打蚊子,Token 费用却按最贵档结算。
  • 延迟不可控 :简单请求也要等大模型首 Token,交互式场景体感很差。
  • 数据合规冲突 :涉及企业内部数据的部分不能出私域,而开放知识问答又需要联网与云端能力。
  • 能力错配 :小模型上下文窗口短、工具调用(function calling)支持弱,硬塞复杂推理任务会直接导致链路崩掉。

所以真正的问题不是”能不能接多个模型”,而是”谁来决定每一步用哪个模型”。

二、三种路由实现方式,按成熟度递进

方案一:静态规则路由(人工配置,最稳)

由开发者预先定义”任务类型 → 模型”的映射表,Agent 只做分类不做决策。优点是行为可预测、可审计、几乎零额外开销;缺点是策略写死,遇到边界场景需要改代码。

  1. # 任务类型到模型的静态映射
  2. ROUTE_TABLE = {
  3. "classify": "small_model", # 意图识别、情感分类
  4. "extract": "small_model", # 实体抽取、格式化输出
  5. "reason": "flagship_model", # 多步推理、代码生成
  6. "private": "local_model", # 私有数据,走本地部署
  7. }

方案二:LLM 路由节点(推荐起点)

在 LangGraph 里加一个轻量路由节点,用便宜的小模型输出结构化决策,再按决策分发。这是目前性价比最高的工程做法。

  1. import os, json
  2. from typing import TypedDict
  3. from langgraph.graph import StateGraph, END
  4. from openai import OpenAI
  5. class State(TypedDict):
  6. task: str
  7. route: str
  8. answer: str
  9. # 统一 OpenAI 兼容协议,切换模型只改 model 字段
  10. client = OpenAI(api_key=os.environ["LLM_API_KEY"],
  11. base_url=os.environ["LLM_BASE_URL"])
  12. MODELS = {
  13. "small": {"model": "<轻量模型>", "temperature": 0.1, "max_tokens": 1024},
  14. "reason": {"model": "<旗舰推理模型>", "temperature": 0.3, "max_tokens": 4096},
  15. "private": {"model": "<本地部署模型>", "base_url": "http://10.0.0.12:8000/v1"},
  16. }
  17. ROUTE_PROMPT = """判断该任务应交给哪类模型,只输出 JSON 的 route 字段:
  18. - small:分类、抽取、改写、格式化等确定性任务
  19. - reason:多步推理、代码生成、长文写作
  20. - private:涉及企业内部数据,必须走私有化模型
  21. 任务:{task}"""
  22. def route_node(state: State) -> dict:
  23. resp = client.chat.completions.create(
  24. model=MODELS["small"]["model"],
  25. messages=[{"role": "user", "content": ROUTE_PROMPT.format(task=state["task"])}],
  26. response_format={"type": "json_object"},
  27. temperature=0,
  28. )
  29. route = json.loads(resp.choices.message.content).get("route", "reason")
  30. return {"route": route if route in MODELS else "reason"}
  31. def call_node(state: State) -> dict:
  32. cfg = MODELS[state["route"]]
  33. cli = OpenAI(api_key=os.environ["LLM_API_KEY"], base_url=cfg.get("base_url")) \
  34. if cfg.get("base_url") else client
  35. resp = cli.chat.completions.create(
  36. model=cfg["model"],
  37. messages=[{"role": "user", "content": state["task"]}],
  38. temperature=cfg["temperature"],
  39. max_tokens=cfg["max_tokens"],
  40. )
  41. return {"answer": resp.choices.message.content}
  42. g = StateGraph(State)
  43. g.add_node("route", route_node)
  44. g.add_node("call", call_node)
  45. g.set_entry_point("route")
  46. g.add_edge("route", "call")
  47. g.add_edge("call", END)
  48. app = g.compile()

注意路由节点本身也要计费,虽然用的是小模型,但高 QPS 下这笔开销不能忽略,建议对高频重复任务做路由结果缓存。

方案三:级联升级(Cascade,成本最优)

不预先判断难度,先用小模型作答,再用轻量校验(规则校验、置信度、schema 校验失败、人工反馈)决定是否升级到大模型。相比方案二,它把”选模型”变成了”要不要加钱重做”,在客服、文档抽取这类有明确正确性判据的场景里省钱效果最明显。

  1. def cascade(state: State) -> dict:
  2. draft = call_with("small", state["task"])
  3. if validate(draft) and draft.confidence >= 0.85:
  4. return {"answer": draft.text, "route": "small"}
  5. return {"answer": call_with("reason", state["task"]), "route": "reason"}

三、路由决策该看哪些维度

维度 判定信号 倾向选择
任务复杂度 是否需要多步推理、工具串联 复杂 → 旗舰模型
Token 成本 输入/输出单价 × 预估用量 高频短任务 → 轻量模型
响应延迟 是否交互式、首 Token 要求 严格 → 小模型或流式
上下文长度 待处理文本规模 超长 → 长上下文模型
数据隐私 是否含企业私有数据 敏感 → 本地/私有化部署
模型专长 代码、数学、多模态、公文 按专长匹配
能力约束 是否依赖 function calling、JSON mode 不支持则直接排除

单任务成本可按下面这个式子估算,用来对比”单旗舰模型”与”路由方案”的差额:

  1. 单任务成本 = Σ (输入Token/1,000,000 × 输入单价 + 输出Token/1,000,000 × 输出单价) + 路由判定开销
  2. 路由收益 = 单旗舰模型成本 − 路由方案总成本 − 路由判定开销

具体单价各家差异较大且会调整,建议在词元所模型服务按当前报价横向对比输入/输出价格与上下文规格,再代入自己的真实 Token 分布测算,而不是照搬别人的经验值。

四、多模型 Agent 的常见坑

  1. 工具调用协议不统一 :有的模型 function calling 稳定,有的只支持 ReAct 文本协议,路由后 Agent 的工具层要能兼容两种范式,否则换模型即报错。
  2. 结构化输出兼容差 :JSON mode、schema 约束并非所有模型都支持,抽取类任务建议加一层解析失败重试。
  3. 上下文窗口错配 :把 3 万 Token 的文档丢给 8K 窗口的小模型会直接截断,路由前应先做长度校验。
  4. 缺少失败回退 :主模型限流或超时时,应自动降级到备用模型而不是把错误抛给用户。
  5. 可观测性缺失 :不记录每次调用的模型、Token 数、耗时和路由原因,后续既无法优化策略也无法核算成本。统一纳管调用记录这件事,也可以在平台侧完成,减少自建埋点的工作量。

五、结论与趋势

现阶段落地多模型 Agent,务实路径是: 统一 API 接入 → 静态映射表起步 → 用 LangGraph 路由节点做动态分发 → 在成本占比高的环节引入级联升级 。国内主流平台已经把多模型接入做成标准能力,比如百度智能云千帆就接入了文心系列与数十个第三方主流模型,并提供模型再训练、微调、评估、部署的全生命周期工具链,配合统一入口做路由时集成成本会低很多。

下一阶段 Agent 的竞争重点,不会是谁接入了更多模型,而是谁的 Model Routing 更智能——像调度微服务一样,按任务复杂度、Token 成本、响应速度、上下文长度、隐私要求和模型专长自动为每个子任务选模型。想先把选型和成本这块的地基打好,可以从百度智能云词元所的模型发现、价格性能对比和统一 API 接入开始试。

发表评论

活动