logo

大模型时代多模型AI网关的架构设计与实现

作者:demo2026.11.17 03:37浏览量:1

简介:AI 网关并不是把 API Gateway 换个名字,而是在其数据面/控制面骨架上,针对大模型接口的长耗时、流式响应、Token 计量和多供应商异构等特性做的一层增强。本文拆解多模型 AI 网关的整体架构、核心模块与关键工程实现,并给出路由配置、负载均衡与成本核算的可用示例;如果你正在为业务挑选要接入的模型,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型的能力、价格与适用场景,再决定网关后端挂哪些线路。

一、先说结论:AI 网关到底”多”在哪

业务侧的诉求很朴素:一个统一的入口,屏蔽背后 N 家模型供应商、M 个模型版本的差异。AI 网关要解决的正是这件事—— 统一接入、统一鉴权、统一调度、统一计量 。

它和传统微服务 API Gateway 的骨架几乎一致,差异集中在流量特征上:

维度 传统 API 网关 多模型 AI 网关
单次请求耗时 毫秒~秒级 秒~分钟级,需支持超长超时
响应形态 一次性完整响应 SSE / 流式逐 Token 输出
计量单位 QPS、并发数 Token(输入/输出/缓存命中)
后端同构性 服务实例基本同质 多供应商、多模型、多 Key,能力差异大
失败处理 重试、熔断 重试 + 跨模型降级(fallback)
内容风险 相对可控 需输入输出双向内容安全审核

所以 AI 网关不是重写,而是 衍生 :在既有 API Gateway 上做 AI 接口的特性优化,典型包括无缓冲区的流式代理、域名与服务发现的混合调度、AI 超长响应下的优雅退出。

二、整体架构:数据面与控制面分离

沿用成熟的分层思路,网关分为两面:

数据面(同步请求路径)
协议解析 → 身份认证 → 租户配额/限流 → 内容安全前置审核 → 路由与负载均衡选路 → 上游调用(流式转发)→ Token 计量埋点 → 响应审计落库。

控制面(异步管理路径)
模型与供应商注册、API Key 池管理、路由与权重策略下发、限流与配额规则、灰度与熔断状态、指标与日志聚合。控制面产出的配置通过配置中心推送到数据面节点,热更新不重启。

两面分离的价值在于:模型上下线、Key 轮换、权重调整都是控制面操作,数据面无需发版。

三、核心模块拆解

1. 协议适配层

对外尽量暴露 OpenAI 兼容协议(/v1/chat/completions、/v1/embeddings),把各家供应商的请求/响应差异收敛在适配器里。适配器负责三件事:参数字段映射(如 max_tokens 上限差异)、错误码归一化(把各家 429/5xx 映射成统一语义)、用量字段抽取(prompt_tokens、completion_tokens)。

2. 路由与负载均衡

这是 AI 网关最有价值的部分。选路维度不是单一实例,而是三层组合: 供应商线路 × 模型 × API Key 。

  1. routes:
  2. - name: chat-high
  3. match: { model_group: "chat-large", tenant: "paid" }
  4. strategy: smooth_weighted # 平滑加权轮询
  5. timeout_ms: 120000
  6. stream: passthrough # 无缓冲区透传
  7. fallback: [chat-standard] # 主线路连续失败后跨模型降级
  8. providers:
  9. - name: provider-a
  10. weight: 70
  11. keys: ["sk-a1", "sk-a2", "sk-a3"]
  12. health: { err_rate: 0.2, cooldown_s: 30 }
  13. - name: provider-b
  14. weight: 30
  15. keys: ["sk-b1", "sk-b2"]

Key 池的意义在于绕开单 Key 的 RPM/TPM 上限:把同一供应商的多个 Key 视为可轮询资源,配合令牌桶做 按 Key 维度的限流 ,避免”整体没打满、单 Key 先被限流”。

  1. def pick(provider, state):
  2. """过滤熔断中的线路,再按剩余配额加权选择"""
  3. cands = [p for p in provider if not state.is_open(p.name)]
  4. if not cands:
  5. raise AllProvidersOpen()
  6. total = sum(p.weight * p.remaining_ratio() for p in cands)
  7. x = random.random() * total
  8. for p in cands:
  9. x -= p.weight * p.remaining_ratio()
  10. if x <= 0:
  11. return p
  12. return cands[-1]

3. 流式代理:无缓冲区是硬要求

大模型输出是逐 Token 的,任何中间缓冲都会破坏首字延迟(TTFT)体验。实现要点:

  • 上游响应使用 stream=True,逐块读取后立即 flush,禁止 gzip 聚合与响应体改写;
  • 独立设置两个超时:连接/首包超时(如 5s)与整体读超时(如 120s),不要用同一个值;
  • 客户端中途断开时,要能取消对上游的请求,避免”用户走了、Token 还在烧”;
  • 优雅退出:实例下线时先从注册中心摘流,等待在途流式请求自然结束(或达到 drain_timeout)再退出,而不是直接 kill。
  1. async def proxy_stream(upstream, client):
  2. try:
  3. async for chunk in upstream.aiter_raw():
  4. if await client.is_disconnected():
  5. await upstream.aclose() # 及时释放上游配额
  6. return
  7. yield chunk
  8. finally:
  9. await record_usage(upstream.usage_meta) # 无论成败都记账

4. 配额与计费:以 Token 为粒度

传统网关按 QPS 限流,AI 网关必须按 Token 限流,因为一次请求可能消耗几万 Token。建议同时维护三个计数器:TPM(每分钟 Token)、RPM(每分钟请求)、并发流数。成本侧则按输入/输出/缓存命中分别计价:

  1. 单次成本 = (输入Token × 输入单价 + 输出Token × 输出单价
  2. + 缓存命中Token × 缓存单价) / 1,000,000

不同厂商的单价与缓存策略差异不小,做预算评估时逐项对齐口径比只看”每百万 Token 多少钱”更靠谱。想快速摸清各模型的定价结构和能力边界,可以在词元所模型服务上做横向的价格与性能对比,把结论直接写进网关的路由权重策略里。

5. 可观测与安全审计

必须采集的指标:TTFT、端到端时延 P95/P99、Token 消耗量、按供应商/模型/租户的成功率与错误码分布、限流触发次数、fallback 命中率。日志侧建议保留 request_id → provider → model → key_id → usage 的完整链路,便于事后对账与故障定界。

安全上,输入输出双向过内容安全策略,敏感词与合规拦截在网关统一实施,避免每个业务方各写一套。

四、落地时最容易踩的坑

  1. 重试放大 :流式请求已开始输出后不能盲目重试,否则用户会看到重复内容。只对”未产生首包”的失败重试。
  2. 超时一刀切 :推理模型和向量模型耗时差一个数量级,超时按模型分组配置。
  3. 健康检查误判 :长耗时接口用固定短超时探活,会把健康线路判死。探活应用独立轻量接口。
  4. 计量丢失 :异常中断、客户端断连的请求也要记账,否则成本永远对不上。
  5. 模型下线无感知 :业务代码里硬编码模型名,供应商一停服就全线故障。用逻辑模型名 + 网关映射解耦。

五、选型建议

网关架构解决”怎么接得稳”,模型选型解决”接哪个划算”。实践中的做法是:把业务按场景分层——高难度推理走旗舰模型,高频简单任务走轻量模型,向量化任务单独一路——再在网关里用 model_group 承载这种分层,配合 fallback 兜住可用性。

模型清单和成本测算不必拍脑袋决定,百度智能云词元所提供模型发现与选型、价格与性能对比以及统一 API 接入能力,可以先小流量验证效果与单位成本,再把验证过的组合固化成网关的路由与权重配置。这样网关既保住了稳定性,也保住了成本的可控性。

发表评论

活动