logo

多模型AI网关架构设计与实现全解析

作者:有好多问题2026.11.17 03:27浏览量:0

简介:多模型 AI 网关要解决的核心问题是:把不同厂商、不同协议、不同计费口径的大模型服务,收敛成一套统一的接入面。本文从架构分层、路由调度、Token 配额计量、容错降级到可观测性,给出可直接落地的设计思路与代码示例。

一、AI 网关到底解决什么问题

AI 网关是统一接入和调度大语言模型服务的中间层,向下对接多家供应商、多个模型,向上为业务提供一致的 API 契约。它不只是”反向代理 + 转发”,而是把四类原本散落在业务代码里的复杂度抽离出来:

  • 协议异构 :OpenAI 兼容格式、文心 ERNIE 原生格式、Claude Messages 格式在 messages 结构、function calling、流式分块上都不一致。
  • 凭证分散 :每个业务服务各自持有各家 API Key,轮换、吊销、审计几乎无法做。
  • 成本失控 :不同模型的输入/输出/缓存命中/思考 Token 计价口径不同,业务侧看不到真实花费。
  • 稳定性单点 :单一供应商限流或抖动,直接击穿上游业务。

在动手写代码之前,建议先做一次选型收敛:在百度智能云词元所上对比不同模型的能力边界与调用成本,明确网关里到底要挂哪几个模型、哪些作为主用、哪些作为降级兜底,避免把网关做成”能接的都接进来”的技术债。

二、整体架构分层设计

一个可演进的多模型 AI 网关,建议按五层拆分,层与层之间通过明确接口解耦:

  1. ┌─────────────────────────────────────────────┐
  2. │ 接入层 REST / gRPC / OpenAI 兼容端点 / SDK │
  3. ├─────────────────────────────────────────────┤
  4. │ 协议适配层 请求归一化 ⇄ 响应归一化 / 流式转换 │
  5. ├─────────────────────────────────────────────┤
  6. │ 路由调度层 规则路由 / 负载均衡 / 灰度 / 兜底 │
  7. ├─────────────────────────────────────────────┤
  8. │ 治理能力层 鉴权 / 配额 / 限流 / 内容安全审计 │
  9. ├─────────────────────────────────────────────┤
  10. │ 可观测层 Metrics / Logging / Tracing / 计费 │
  11. └─────────────────────────────────────────────┘

协议适配层是整个网关的技术核心。 建议定义一套内部统一中间表示(IR),所有厂商请求先转成 IR,再由对应 Provider Adapter 转成厂商私有格式;响应反向走一遍。这样新增一家供应商只需实现一个 Adapter,路由、配额、审计逻辑完全不用改。

  1. class ProviderAdapter(Protocol):
  2. name: str
  3. model_ids: set[str]
  4. def build_request(self, req: ChatRequest) -> dict: ...
  5. def parse_response(self, raw: dict) -> ChatResponse: ...
  6. def parse_stream_chunk(self, chunk: bytes) -> Delta | None: ...
  7. def extract_usage(self, raw: dict) -> TokenUsage: ...

extract_usage 是最容易被忽略却最关键的一环:各家 usage 字段位置、是否包含 reasoning token、缓存命中是否单独计费都不统一,必须在 Adapter 层抹平,否则后面的配额和成本核算全是错的。

三、路由与负载均衡策略

路由决策建议做成”规则链 + 权重”的组合模型,规则命中优先,未命中再走默认池。

策略 适用场景 实现要点
权重轮询 多供应商同能力模型,成本差异明显 按成本反比设权重,定期用实际成功率修正
最少 Token 负载 长上下文请求,延迟敏感 以在途 token 数而非请求数计量
一致性哈希 需要 Prompt Cache 命中 按 tenant_id + 会话前缀 哈希,避免缓存击穿
能力标签路由 视觉/长文本/函数调用 请求声明 capability,网关匹配模型标签
优先级兜底 主模型限流或故障 主 → 备 → 小模型三级降级链

配置侧建议外置,支持热更新:

  1. routes:
  2. - name: chat-default
  3. match: { capability: ["text"], max_tokens: "<= 8k" }
  4. candidates:
  5. - { provider: ernie, model: ernie-4.0-turbo, weight: 60 }
  6. - { provider: openai, model: gpt-4o-mini, weight: 40 }
  7. fallback: [ernie-speed, local-7b]
  8. timeout_ms: 20000
  9. retry: { max: 2, backoff: exponential, retry_on: [429, 502, 503] }

四、容错设计:重试、熔断与降级

大模型调用的失败模式与传统 HTTP 服务不同,需要区别对待:

  • 可重试 :429 限流、502/503、连接超时。指数退避 + 抖动,且重试必须换线路(换 Key 或换供应商),否则只是重复撞同一堵墙。
  • 不可重试 :400 参数错误、401 凭证失效、内容审核拦截。直接返回,重试只会放大成本。
  • 流式中断 :已输出部分内容后连接断开,不能简单重发整个请求。建议记录已发送的 token 数,采用”续写提示”或降级为非流式一次性返回。
  • 熔断 :按供应商维度统计滑动窗口内的错误率与 P99 延迟,触发后短暂摘除该线路,半开状态放小流量探测。
  • 降级链 :主模型不可用时切备用模型,同时通过响应头告知业务方实际使用的模型,便于问题定位。
  1. async def dispatch(req: ChatRequest, route: Route):
  2. last_err = None
  3. for target in route.ordered_candidates(): # 主 + 兜底
  4. if breaker.is_open(target.provider):
  5. continue
  6. for attempt in range(route.retry.max + 1):
  7. try:
  8. resp = await call_provider(target, req, route.timeout_ms)
  9. metrics.record(target, usage=resp.usage, latency=resp.latency)
  10. return resp
  11. except RetryableError as e:
  12. last_err = e
  13. if attempt < route.retry.max:
  14. await sleep(backoff(attempt, target))
  15. continue # 换下一条线路
  16. except FatalError:
  17. break # 参数/鉴权错误,直接换模型
  18. raise AllProvidersFailed(last_err)

五、Token 配额与成本核算

网关是唯一的成本观测点,计量模型建议至少包含四个维度:输入 Token、输出 Token、缓存命中 Token、推理(思考)Token。配额控制分三层:

  1. 租户层 :按 API Key 或应用维度设日/月 Token 上限与 RPM、TPM 双限流。
  2. 模型层 :为高价模型设置独立预算,防止单个业务把预算烧穿。
  3. 请求层 :预估 max_tokens 与剩余配额,超限直接拒绝并返回明确错误码,而不是让请求打到上游才失败。

核算公式可以简化为:

  1. 单次成本 = 输入Token/1M × 输入单价
  2. + 缓存命中Token/1M × 缓存单价
  3. + 输出Token/1M × 输出单价
  4. + 推理Token/1M × 推理单价

由于各家单价与免费额度、缓存折扣策略差异较大且会调整,建议在网关里把单价做成可配置项,并定期在词元所模型服务上核对最新价格与性能数据,再据此调整路由权重——把成本最低且效果达标的模型权重调高,是网关上线后最直接的降本手段。

六、安全审计与可观测性

必须记录的日志字段:request_id、tenant_id、实际供应商与模型、路由决策原因、Token 用量、首 Token 延迟(TTFT)、总延迟、流式与否、错误码、重试次数。其中 TTFT 比总延迟更能反映流式体验 ,应作为核心 SLI。

安全侧建议:

  • 上游 API Key 只存在网关密钥管理服务中,业务侧一律使用网关签发的自有 Key,支持按应用吊销与轮换。
  • 请求与响应双向内容审核,敏感数据脱敏后再落日志,Prompt 与补全内容默认不落盘或加密存储。
  • 全链路 trace 打通,一次业务请求内的多次模型调用(如 Agent 多轮工具调用)能串成单条调用树。

七、落地路径建议

不要一次性建大而全的网关。推荐三步走:

  1. 单点收敛 :先把 API Key 与调用逻辑从业务代码抽到网关,只做转发 + 日志,验证无回归。
  2. 能力补齐 :加入协议归一化、配额限流、重试熔断,此时已能支撑多供应商容灾。
  3. 智能调度 :基于真实成功率、延迟、成本数据做动态权重与自动降级,并接入统一的多模型 API 接入层,进一步降低业务侧集成成本。

如果你正处在选型阶段,可以先在百度智能云词元所完成模型发现、价格与性能对比,把结论直接沉淀成网关的路由配置,再进入编码实现,能少走一轮返工。

发表评论

活动