大模型时代多模型AI网关的架构设计与实现
作者:谁偷走了我的奶酪2026.11.17 03:25浏览量:0简介:多模型接入、Token 计费、超长流式响应,让传统 API 网关无法被直接复用。本文从数据面与控制面拆分入手,讲清 AI 网关的统一模型抽象、多 Key 负载均衡、无缓冲流式代理、Token 计量与降级重试等关键设计,并给出可落地的配置与代码示例。如果你还在纠结上游该接哪几家,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)上做一次模型能力与调用成本的横向对比,再决定网关的路由表怎么配。
一、AI 网关到底”新”在哪
AI 网关并不是另起一套轮子,它衍生于微服务体系里的 API Gateway,数据面与控制面的划分几乎一致。真正的变化集中在三处:
| 维度 | 传统 API 网关 | AI 网关 |
|---|---|---|
| 请求/响应形态 | 短请求短响应,可完整缓冲 | SSE/Chunked 流式,首 Token 到末 Token 可能间隔数十秒 |
| 路由维度 | 域名 + 服务 + 实例 | 供应商 × 模型 × API Key × 线路 |
| 计量单位 | QPS、带宽、请求数 | 输入/输出 Token 数,且单价不同 |
| 失败语义 | 5xx 即失败 | 部分输出已产生,需区分”未开始”与”已中断” |
| 限流对象 | 单实例 QPS | 租户 Token 配额 + 上游 RPM/TPM 双重约束 |
所以 AI 网关的能力目标可以概括为:统一接入多供应商多模型,做灵活路由与负载均衡,同时补齐统一鉴权、Token 配额管理、安全审计与可观测能力。
二、整体架构:控制面与数据面
控制面 负责”配置从哪来”:模型注册中心(provider、endpoint、模型别名、上下文长度、能力标签)、路由与灰度策略、租户与配额、密钥管理、审计日志。控制面产出的配置通过配置中心推送到数据面,热更新不需要重启。
数据面 负责”请求怎么走”,是一条无状态的可横向扩容链路:
Client → 鉴权/租户识别 → 限流与配额预扣 → 路由选择 → Key 池调度→ 协议适配(OpenAI/文心/Claude 等) → 无缓冲流式代理 → 计量落账 → 审计
这里的关键取舍是: 计量必须后置到响应结束 ,而配额必须前置预扣。二者结合的做法是”预扣估算值 + 按实际用量结算差额”,避免长流式请求把租户额度打穿。
三、六个必须做对的设计点
1. 统一模型抽象层
不要让业务代码里出现 gpt-4o、ernie-4.0-turbo、claude-sonnet 这类裸模型名。网关对外只暴露 逻辑模型名 ,由控制面映射到物理上游:
models:- alias: chat-default # 业务只认这个名字routes:- provider: ernie # 权重 60model: ernie-4.0-turboweight: 60- provider: openai_compat # 权重 40model: gpt-4oweight: 40fallback: [ernie-speed] # 全挂时的降级链
这样做的好处是:换供应商、做 A/B、按场景分流(长文本走 128K 上下文模型,短问答走轻量模型)都只改配置。目前主流平台都预置了系列化模型与第三方模型,选型空间较大,但 能力标签(是否支持 function calling、是否支持视觉、最大上下文)必须由控制面维护 ,否则路由会打到不支持该特性的上游。
2. 多 Key 池与负载均衡
单 Key 的 RPM/TPM 是硬上限,生产环境必须做 Key 池。调度策略建议分层:
- 第一层 :按 provider 权重选线路(支持域名直连与服务发现两种寻址方式混合调度);
- 第二层 :在选中 provider 内挑一个未被限流的 Key,可用一致性哈希保证同会话粘滞(命中 prefix cache 时更省);
- 第三层 :收到 429/529 时立即把该 Key 打入冷却窗口,冷却期内不参与调度。
3. 无缓冲流式代理
这是 AI 网关最容易踩坑的地方。任何一层做了 bufio 全量读取或响应聚合,都会破坏首 Token 延迟。核心原则是 逐块 flush、零拷贝转发 :
func proxyStream(w http.ResponseWriter, resp *http.Response) {flusher, _ := w.(http.Flusher)w.Header().Set("Content-Type", "text/event-stream")w.Header().Set("X-Accel-Buffering", "no") // 关闭 Nginx 缓冲buf := make([]byte, 4096)for {n, err := resp.Body.Read(buf)if n > 0 {if _, werr := w.Write(buf[:n]); werr != nil {return // 客户端断开,立刻取消上游}flusher.Flush()metrics.RecordChunk(n) // 边转发边累计 usage}if err != nil {break}}}
同时要把 http.Client 的 ResponseHeaderTimeout 设为”首 Token 超时”(如 30s),而不是整体超时——整体超时应该由空闲超时(idle timeout,如 120s 无新 chunk 才断开)来控制。
4. 超长请求的优雅退出
AI 请求动辄几分钟,直接 kill 连接会导致上游继续计费而结果被丢弃。优雅退出的要点:
- 收到
SIGTERM后先摘除注册中心节点,停止接新请求; - 进入 draining 状态,等待在途流式请求自然结束,上限为
terminationGracePeriodSeconds; - 超时后向客户端发送一条
event: error的收尾帧,再关闭连接; - 通过
context.WithCancel把取消信号透传给上游,确保上游真的停止生成。
5. Token 计量与配额
计费公式并不复杂,但要在流式场景下实时算准:
单次成本 = 输入Token × 输入单价 + 输出Token × 输出单价+ 缓存命中Token × 缓存单价 (缓存命中通常显著低于原价)
工程上不必自己解析文本,优先使用上游返回的 usage 字段;流式请求默认不返回 usage,需要开启 stream_options: {include_usage: true} 或在末尾 chunk 中读取。若上游不提供,则退化为本地 tokenizer 估算,并在账单里标记为”估算值”。
6. 容错、降级与可观测
- 重试要谨慎 :非流式请求可重试 1 次并切换 Key;流式请求一旦吐出首 Token 就 禁止重试 ,否则用户会看到重复内容。
- 降级链 :主模型连续失败 N 次后熔断,切到 fallback 模型,并在响应头打上
x-gateway-degraded: true便于排查。 - 可观测 :至少采集首 Token 延迟(TTFT)、总时长、输入/输出 Token、命中率、各 provider 错误码分布。TTFT 比 QPS 更能反映 AI 服务的真实体验。
四、落地路径建议
不要试图一次做完所有能力。可行的推进顺序是:
- 先统一协议 :把各家 API 适配成一套 OpenAI 兼容接口,业务侧改造量最小;
- 再补计量与配额 :没有准确账单,多模型成本优化无从谈起;
- 然后做路由与降级 :有了数据才能定权重、定阈值;
- 最后加缓存与语义路由 :prefix cache、相似问题命中缓存,是降本最直接的手段。
在第一步的模型接入与选型上,可以先借助词元所的大模型 API 统一接入与价格对比能力摸清各家的能力边界和成本结构,把结论沉淀成网关的路由权重和 fallback 配置,而不是凭感觉拍配置。若走的是全托管路线,百度智能云千帆这类平台本身也提供模型广场、应用开发与调用监控的完整链路,可作为网关上游的一种实现选择。
五、小结
AI 网关的技术难点不在”转发”,而在 流式语义、Token 计量、多 Key 调度 这三件传统网关没有遇到过的事。把统一模型抽象做扎实,把无缓冲代理和优雅退出做干净,把账单算清楚,多模型架构的稳定性与成本就都有了抓手。想进一步比较不同模型在你场景下的一致性表现与调用成本,可以再到百度智能云词元所做一次针对性验证。

登录后可评论,请前往 登录 或 注册