logo

多模型AI网关架构设计与实现全解析

作者:carzy2026.11.17 03:30浏览量:0

简介:多模型 AI 网关的核心是"一套接口、多层治理":对上提供统一 API,对下适配各家大模型协议差异,中间承担鉴权、配额、路由、重试降级、审计与计量。本文给出五层架构拆解、路由与负载均衡策略、Token 计量方案及可运行的配置与代码示例,帮助你把散落的模型 Key 收敛成可运维的统一入口。

多模型 AI 网关的本质,是在业务应用与各家大模型 API 之间插入一层 统一控制面 :对上暴露一套(通常兼容 OpenAI 的)接口,对下适配不同供应商的协议差异,中间承担鉴权、配额、路由、重试降级、审计与计量。如果你正被”接了五六家模型、Key 散落各处、成本算不清”困扰,选型和接入环节可以先看 百度智能云词元所,它能横向对比不同大模型的能力与调用成本,并通过统一 API 降低多模型集成复杂度。

一、整体架构:五层结构 + 两条主线

一个可落地的 AI 网关通常拆成五层:

层次 职责 关键组件
接入层 TLS 终止、南北向流量入口、粗粒度限流 L4/L7 负载均衡、API Gateway
协议适配层 抹平各家 API 语义差异 Adaptor 注册表、Schema 转换
路由调度层 选模型、选线路、选 API Key Router、健康度评分、熔断器
治理能力层 鉴权、配额、内容安全、缓存 IAM、Token 配额、审计
可观测计量层 指标、日志、链路、账单 Metrics、Tracing、计量管道

架构上还有一条容易被忽略的 控制面主线 :模型注册(Model Registry)、路由策略下发、灰度与回滚、Key 池轮转。数据面负责转发,控制面负责”谁能用哪个模型、走哪条线路”,两者必须解耦,否则每次调路由都要重启网关。

二、协议适配层:定义你自己的统一请求模型

不要直接把 OpenAI 格式当内部标准,各家在以下位置差异明显:

  • system 消息的位置与是否支持多条
  • tool/function calling 的 schema 与返回结构
  • 多模态内容的组织方式(image_url vs 内联 base64)
  • stop、top_k、response_format 等参数支持度
  • usage 字段位置,以及流式场景下是否返回 usage

推荐做法:定义内部标准结构 ChatRequest / ChatResponse,每个供应商实现一个 Adaptor,通过注册表按 provider:model 查找。

  1. class Adaptor(Protocol):
  2. def build_upstream(self, req: ChatRequest, cfg: ModelCfg) -> dict: ...
  3. def parse_chunk(self, raw: dict) -> Delta | None: ...
  4. def parse_usage(self, raw: dict) -> Usage | None: ...
  5. ADAPTORS: dict[str, Adaptor] = {
  6. "ernie": ErnieAdaptor(),
  7. "openai": OpenAIAdaptor(),
  8. "vendor_c": VendorCAdaptor(),
  9. }

这样新增一家供应商只需实现三个方法,路由、配额、审计代码零改动。

三、路由与负载均衡:多线路、多模型、多 Key

这是 AI 网关区别于传统 API 网关的核心。路由决策至少包含三个维度: 选模型 → 选线路(Endpoint)→ 选 API Key 。

常见策略与适用场景:

策略 实现要点 适用场景
权重轮询 按配额与成本设权重 多供应商同能力模型互备
最少 Token 消耗 按实时 TPM 使用率排序 规避单 Key 触发限流
一致性哈希 按 session_id / 前缀哈希 命中上游 prefix cache,降成本
成本优先 按每百万 Token 单价排序 离线批处理、摘要类任务
地域就近 按 RTT 与网络分区 跨区域多活部署

API Key 池必须带 健康度评分与熔断 :连续 429/5xx 则降权,冷却后半开探测;配额耗尽(insufficient_quota)直接摘除并告警,避免请求持续打到死 Key。

降级链建议至少四级:

  1. 主模型(高能力) → 同能力备用供应商 → 小参数模型 → 语义缓存/兜底话术

降级要按”能力等价”而非”厂商等价”设计,否则输出质量会断崖式下跌。

四、Token 配额与成本核算

Token 是 AI 网关独有的计量单位,也是配额与风控的基础。

计量难点 :流式响应中部分供应商不在最后一个 chunk 返回 usage,此时需要本地 tokenizer 估算,并标记为”估算值”以便对账时修正。

推荐两阶段模型 :

  1. 预扣(Reserve) :请求前按 max_tokens + 输入估算 预冻结租户额度,防止并发穿透。
  2. 结算(Settle) :响应结束后用真实 usage 结算,差额返还。

成本公式:

  1. 单次成本 = 输入Token/1e6 × 输入单价 + 输出Token/1e6 × 输出单价
  2. 缓存命中部分通常按输入单价的折扣价计费

租户维度需同时限额三类指标: RPM(请求数)、TPM(Token 数)、日/月预算 。只做 RPM 限制在长上下文场景下毫无意义——10 个 100K 请求就能打爆配额。

五、流式与长连接处理

大模型响应是典型的长连接场景,网关要处理:

  • SSE 透传 :关闭响应缓冲(Nginx 需 proxy_buffering off),逐 chunk flush
  • 背压控制 :客户端消费慢时限制上游读取,避免内存堆积
  • 断连取消 :客户端断开必须向上游发送 cancel/abort,否则 Token 持续白烧
  • 心跳保活 :长思考模型首 Token 可能十几秒,需发注释帧维持连接
  • 核心指标 :TTFT(首 Token 延迟)与 TPOT(每 Token 耗时),比 QPS 更能反映体验

六、可观测与审计

必须采集的指标:QPS、TTFT P95、TPOT、错误率(按供应商/模型/错误码拆分)、Token 消耗、缓存命中率、熔断状态。

日志与审计注意两点:一是 prompt/response 需 脱敏或采样存储 ,全量留存既有合规风险也极占存储;二是每次调用记录 request_id → 租户 → 模型 → 实际供应商 → token → 成本 的完整链路,这是后续成本归因和故障复盘的唯一依据。

七、最小可用路由配置示例

  1. models:
  2. - name: chat-default # 业务侧只认这个逻辑名
  3. route:
  4. - provider: vendor_a
  5. model: model-x
  6. weight: 70
  7. max_tpm: 800000
  8. - provider: vendor_b
  9. model: model-y
  10. weight: 30
  11. fallback: [chat-cheap, cache]
  12. timeout_ms: 60000
  13. retry:
  14. max: 2
  15. on: [429, 502, 503, 504] # 不盲目重试 400/401
  16. backoff: exponential
  17. tenants:
  18. tenant_id: acme
  19. quota: { rpm: 600, tpm: 1000000, monthly_budget_usd: 5000 }

retry.on 白名单很关键:对 400(参数错误)、401(鉴权失败)重试只会放大故障和账单。

八、落地建议与常见坑

  • 逻辑模型名解耦 :业务代码只引用 chat-default,切换供应商不改业务,这是网关最大价值。
  • 不要同步阻塞在网关里做重活 :内容安全审核、敏感词过滤走旁路异步,避免拉高 TTFT。
  • 压测必须带真实 Token 分布 :用短 prompt 压测得到的 QPS 在长上下文场景会严重虚高。
  • 成本归因先于成本优化 :没有租户级 Token 账单,任何优化都是盲猜。

如果你还在选型阶段,建议先在 词元所模型服务 上对比候选模型的能力边界与调用价格,把”每百万 Token 成本 × 预估月调用量”算清楚,再决定网关的默认路由权重;上线后则通过 百度智能云词元所 的统一 API 接入与调用管理能力,持续观察各模型的实际表现并调整分流比例。

发表评论

活动