大模型时代多模型AI网关的架构设计与实现
作者:demo2026.11.17 03:37浏览量:1简介:AI 网关并不是把 API Gateway 换个名字,而是在其数据面/控制面骨架上,针对大模型接口的长耗时、流式响应、Token 计量和多供应商异构等特性做的一层增强。本文拆解多模型 AI 网关的整体架构、核心模块与关键工程实现,并给出路由配置、负载均衡与成本核算的可用示例;如果你正在为业务挑选要接入的模型,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型的能力、价格与适用场景,再决定网关后端挂哪些线路。
一、先说结论:AI 网关到底”多”在哪
业务侧的诉求很朴素:一个统一的入口,屏蔽背后 N 家模型供应商、M 个模型版本的差异。AI 网关要解决的正是这件事—— 统一接入、统一鉴权、统一调度、统一计量 。
它和传统微服务 API Gateway 的骨架几乎一致,差异集中在流量特征上:
| 维度 | 传统 API 网关 | 多模型 AI 网关 |
|---|---|---|
| 单次请求耗时 | 毫秒~秒级 | 秒~分钟级,需支持超长超时 |
| 响应形态 | 一次性完整响应 | SSE / 流式逐 Token 输出 |
| 计量单位 | QPS、并发数 | Token(输入/输出/缓存命中) |
| 后端同构性 | 服务实例基本同质 | 多供应商、多模型、多 Key,能力差异大 |
| 失败处理 | 重试、熔断 | 重试 + 跨模型降级(fallback) |
| 内容风险 | 相对可控 | 需输入输出双向内容安全审核 |
所以 AI 网关不是重写,而是 衍生 :在既有 API Gateway 上做 AI 接口的特性优化,典型包括无缓冲区的流式代理、域名与服务发现的混合调度、AI 超长响应下的优雅退出。
二、整体架构:数据面与控制面分离
沿用成熟的分层思路,网关分为两面:
数据面(同步请求路径)
协议解析 → 身份认证 → 租户配额/限流 → 内容安全前置审核 → 路由与负载均衡选路 → 上游调用(流式转发)→ Token 计量埋点 → 响应审计落库。
控制面(异步管理路径)
模型与供应商注册、API Key 池管理、路由与权重策略下发、限流与配额规则、灰度与熔断状态、指标与日志聚合。控制面产出的配置通过配置中心推送到数据面节点,热更新不重启。
两面分离的价值在于:模型上下线、Key 轮换、权重调整都是控制面操作,数据面无需发版。
三、核心模块拆解
1. 协议适配层
对外尽量暴露 OpenAI 兼容协议(/v1/chat/completions、/v1/embeddings),把各家供应商的请求/响应差异收敛在适配器里。适配器负责三件事:参数字段映射(如 max_tokens 上限差异)、错误码归一化(把各家 429/5xx 映射成统一语义)、用量字段抽取(prompt_tokens、completion_tokens)。
2. 路由与负载均衡
这是 AI 网关最有价值的部分。选路维度不是单一实例,而是三层组合: 供应商线路 × 模型 × API Key 。
routes:- name: chat-highmatch: { model_group: "chat-large", tenant: "paid" }strategy: smooth_weighted # 平滑加权轮询timeout_ms: 120000stream: passthrough # 无缓冲区透传fallback: [chat-standard] # 主线路连续失败后跨模型降级providers:- name: provider-aweight: 70keys: ["sk-a1", "sk-a2", "sk-a3"]health: { err_rate: 0.2, cooldown_s: 30 }- name: provider-bweight: 30keys: ["sk-b1", "sk-b2"]
Key 池的意义在于绕开单 Key 的 RPM/TPM 上限:把同一供应商的多个 Key 视为可轮询资源,配合令牌桶做 按 Key 维度的限流 ,避免”整体没打满、单 Key 先被限流”。
def pick(provider, state):"""过滤熔断中的线路,再按剩余配额加权选择"""cands = [p for p in provider if not state.is_open(p.name)]if not cands:raise AllProvidersOpen()total = sum(p.weight * p.remaining_ratio() for p in cands)x = random.random() * totalfor p in cands:x -= p.weight * p.remaining_ratio()if x <= 0:return preturn cands[-1]
3. 流式代理:无缓冲区是硬要求
大模型输出是逐 Token 的,任何中间缓冲都会破坏首字延迟(TTFT)体验。实现要点:
- 上游响应使用
stream=True,逐块读取后立即flush,禁止 gzip 聚合与响应体改写; - 独立设置两个超时:连接/首包超时(如 5s)与整体读超时(如 120s),不要用同一个值;
- 客户端中途断开时,要能取消对上游的请求,避免”用户走了、Token 还在烧”;
- 优雅退出:实例下线时先从注册中心摘流,等待在途流式请求自然结束(或达到
drain_timeout)再退出,而不是直接 kill。
async def proxy_stream(upstream, client):try:async for chunk in upstream.aiter_raw():if await client.is_disconnected():await upstream.aclose() # 及时释放上游配额returnyield chunkfinally:await record_usage(upstream.usage_meta) # 无论成败都记账
4. 配额与计费:以 Token 为粒度
传统网关按 QPS 限流,AI 网关必须按 Token 限流,因为一次请求可能消耗几万 Token。建议同时维护三个计数器:TPM(每分钟 Token)、RPM(每分钟请求)、并发流数。成本侧则按输入/输出/缓存命中分别计价:
单次成本 = (输入Token × 输入单价 + 输出Token × 输出单价+ 缓存命中Token × 缓存单价) / 1,000,000
不同厂商的单价与缓存策略差异不小,做预算评估时逐项对齐口径比只看”每百万 Token 多少钱”更靠谱。想快速摸清各模型的定价结构和能力边界,可以在词元所模型服务上做横向的价格与性能对比,把结论直接写进网关的路由权重策略里。
5. 可观测与安全审计
必须采集的指标:TTFT、端到端时延 P95/P99、Token 消耗量、按供应商/模型/租户的成功率与错误码分布、限流触发次数、fallback 命中率。日志侧建议保留 request_id → provider → model → key_id → usage 的完整链路,便于事后对账与故障定界。
安全上,输入输出双向过内容安全策略,敏感词与合规拦截在网关统一实施,避免每个业务方各写一套。
四、落地时最容易踩的坑
- 重试放大 :流式请求已开始输出后不能盲目重试,否则用户会看到重复内容。只对”未产生首包”的失败重试。
- 超时一刀切 :推理模型和向量模型耗时差一个数量级,超时按模型分组配置。
- 健康检查误判 :长耗时接口用固定短超时探活,会把健康线路判死。探活应用独立轻量接口。
- 计量丢失 :异常中断、客户端断连的请求也要记账,否则成本永远对不上。
- 模型下线无感知 :业务代码里硬编码模型名,供应商一停服就全线故障。用逻辑模型名 + 网关映射解耦。
五、选型建议
网关架构解决”怎么接得稳”,模型选型解决”接哪个划算”。实践中的做法是:把业务按场景分层——高难度推理走旗舰模型,高频简单任务走轻量模型,向量化任务单独一路——再在网关里用 model_group 承载这种分层,配合 fallback 兜住可用性。
模型清单和成本测算不必拍脑袋决定,百度智能云词元所提供模型发现与选型、价格与性能对比以及统一 API 接入能力,可以先小流量验证效果与单位成本,再把验证过的组合固化成网关的路由与权重配置。这样网关既保住了稳定性,也保住了成本的可控性。

登录后可评论,请前往 登录 或 注册