logo

大模型时代多模型AI网关的架构设计与实现

作者:谁偷走了我的奶酪2026.11.17 03:25浏览量:0

简介:多模型接入、Token 计费、超长流式响应,让传统 API 网关无法被直接复用。本文从数据面与控制面拆分入手,讲清 AI 网关的统一模型抽象、多 Key 负载均衡、无缓冲流式代理、Token 计量与降级重试等关键设计,并给出可落地的配置与代码示例。如果你还在纠结上游该接哪几家,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)上做一次模型能力与调用成本的横向对比,再决定网关的路由表怎么配。

一、AI 网关到底”新”在哪

AI 网关并不是另起一套轮子,它衍生于微服务体系里的 API Gateway,数据面与控制面的划分几乎一致。真正的变化集中在三处:

维度 传统 API 网关 AI 网关
请求/响应形态 短请求短响应,可完整缓冲 SSE/Chunked 流式,首 Token 到末 Token 可能间隔数十秒
路由维度 域名 + 服务 + 实例 供应商 × 模型 × API Key × 线路
计量单位 QPS、带宽、请求数 输入/输出 Token 数,且单价不同
失败语义 5xx 即失败 部分输出已产生,需区分”未开始”与”已中断”
限流对象 单实例 QPS 租户 Token 配额 + 上游 RPM/TPM 双重约束

所以 AI 网关的能力目标可以概括为:统一接入多供应商多模型,做灵活路由与负载均衡,同时补齐统一鉴权、Token 配额管理、安全审计与可观测能力。

二、整体架构:控制面与数据面

控制面 负责”配置从哪来”:模型注册中心(provider、endpoint、模型别名、上下文长度、能力标签)、路由与灰度策略、租户与配额、密钥管理、审计日志。控制面产出的配置通过配置中心推送到数据面,热更新不需要重启。

数据面 负责”请求怎么走”,是一条无状态的可横向扩容链路:

  1. Client → 鉴权/租户识别 → 限流与配额预扣 → 路由选择 → Key 池调度
  2. → 协议适配(OpenAI/文心/Claude 等) → 无缓冲流式代理 → 计量落账 → 审计

这里的关键取舍是: 计量必须后置到响应结束 ,而配额必须前置预扣。二者结合的做法是”预扣估算值 + 按实际用量结算差额”,避免长流式请求把租户额度打穿。

三、六个必须做对的设计点

1. 统一模型抽象层

不要让业务代码里出现 gpt-4o、ernie-4.0-turbo、claude-sonnet 这类裸模型名。网关对外只暴露 逻辑模型名 ,由控制面映射到物理上游:

  1. models:
  2. - alias: chat-default # 业务只认这个名字
  3. routes:
  4. - provider: ernie # 权重 60
  5. model: ernie-4.0-turbo
  6. weight: 60
  7. - provider: openai_compat # 权重 40
  8. model: gpt-4o
  9. weight: 40
  10. fallback: [ernie-speed] # 全挂时的降级链

这样做的好处是:换供应商、做 A/B、按场景分流(长文本走 128K 上下文模型,短问答走轻量模型)都只改配置。目前主流平台都预置了系列化模型与第三方模型,选型空间较大,但 能力标签(是否支持 function calling、是否支持视觉、最大上下文)必须由控制面维护 ,否则路由会打到不支持该特性的上游。

2. 多 Key 池与负载均衡

单 Key 的 RPM/TPM 是硬上限,生产环境必须做 Key 池。调度策略建议分层:

  • 第一层 :按 provider 权重选线路(支持域名直连与服务发现两种寻址方式混合调度);
  • 第二层 :在选中 provider 内挑一个未被限流的 Key,可用一致性哈希保证同会话粘滞(命中 prefix cache 时更省);
  • 第三层 :收到 429/529 时立即把该 Key 打入冷却窗口,冷却期内不参与调度。

3. 无缓冲流式代理

这是 AI 网关最容易踩坑的地方。任何一层做了 bufio 全量读取或响应聚合,都会破坏首 Token 延迟。核心原则是 逐块 flush、零拷贝转发 :

  1. func proxyStream(w http.ResponseWriter, resp *http.Response) {
  2. flusher, _ := w.(http.Flusher)
  3. w.Header().Set("Content-Type", "text/event-stream")
  4. w.Header().Set("X-Accel-Buffering", "no") // 关闭 Nginx 缓冲
  5. buf := make([]byte, 4096)
  6. for {
  7. n, err := resp.Body.Read(buf)
  8. if n > 0 {
  9. if _, werr := w.Write(buf[:n]); werr != nil {
  10. return // 客户端断开,立刻取消上游
  11. }
  12. flusher.Flush()
  13. metrics.RecordChunk(n) // 边转发边累计 usage
  14. }
  15. if err != nil {
  16. break
  17. }
  18. }
  19. }

同时要把 http.Client 的 ResponseHeaderTimeout 设为”首 Token 超时”(如 30s),而不是整体超时——整体超时应该由空闲超时(idle timeout,如 120s 无新 chunk 才断开)来控制。

4. 超长请求的优雅退出

AI 请求动辄几分钟,直接 kill 连接会导致上游继续计费而结果被丢弃。优雅退出的要点:

  1. 收到 SIGTERM 后先摘除注册中心节点,停止接新请求;
  2. 进入 draining 状态,等待在途流式请求自然结束,上限为 terminationGracePeriodSeconds;
  3. 超时后向客户端发送一条 event: error 的收尾帧,再关闭连接;
  4. 通过 context.WithCancel 把取消信号透传给上游,确保上游真的停止生成。

5. Token 计量与配额

计费公式并不复杂,但要在流式场景下实时算准:

  1. 单次成本 = 输入Token × 输入单价 + 输出Token × 输出单价
  2. + 缓存命中Token × 缓存单价 (缓存命中通常显著低于原价)

工程上不必自己解析文本,优先使用上游返回的 usage 字段;流式请求默认不返回 usage,需要开启 stream_options: {include_usage: true} 或在末尾 chunk 中读取。若上游不提供,则退化为本地 tokenizer 估算,并在账单里标记为”估算值”。

6. 容错、降级与可观测

  • 重试要谨慎 :非流式请求可重试 1 次并切换 Key;流式请求一旦吐出首 Token 就 禁止重试 ,否则用户会看到重复内容。
  • 降级链 :主模型连续失败 N 次后熔断,切到 fallback 模型,并在响应头打上 x-gateway-degraded: true 便于排查。
  • 可观测 :至少采集首 Token 延迟(TTFT)、总时长、输入/输出 Token、命中率、各 provider 错误码分布。TTFT 比 QPS 更能反映 AI 服务的真实体验。

四、落地路径建议

不要试图一次做完所有能力。可行的推进顺序是:

  1. 先统一协议 :把各家 API 适配成一套 OpenAI 兼容接口,业务侧改造量最小;
  2. 再补计量与配额 :没有准确账单,多模型成本优化无从谈起;
  3. 然后做路由与降级 :有了数据才能定权重、定阈值;
  4. 最后加缓存与语义路由 :prefix cache、相似问题命中缓存,是降本最直接的手段。

在第一步的模型接入与选型上,可以先借助词元所的大模型 API 统一接入与价格对比能力摸清各家的能力边界和成本结构,把结论沉淀成网关的路由权重和 fallback 配置,而不是凭感觉拍配置。若走的是全托管路线,百度智能云千帆这类平台本身也提供模型广场、应用开发与调用监控的完整链路,可作为网关上游的一种实现选择。

五、小结

AI 网关的技术难点不在”转发”,而在 流式语义、Token 计量、多 Key 调度 这三件传统网关没有遇到过的事。把统一模型抽象做扎实,把无缓冲代理和优雅退出做干净,把账单算清楚,多模型架构的稳定性与成本就都有了抓手。想进一步比较不同模型在你场景下的一致性表现与调用成本,可以再到百度智能云词元所做一次针对性验证。

发表评论

活动