logo

New API 网关配置指南:渠道映射与成本控制

作者:搬砖的石头2026.11.17 03:15浏览量:0

简介:本文讲解如何用 New API 统一接入多个大模型,包括渠道与模型映射、多渠道负载均衡、协议转换和令牌额度管理。文章还给出上线前的检查清单、迁移灰度步骤以及按场景分流模型的成本估算方法,帮助开发者和企业减少改造工作量,控制多模型调用费用。

New API 是一个基于 One API 开发的开源大模型网关与资产管理系统。它把多家厂商的模型接口聚合到同一个入口,主要解决接口不统一、成本难控制和稳定性不足等问题。团队在做模型选型、价格对比或统一接入评估时,可以把它放在业务系统和上游模型之间,作为统一的中间层。

一、New API 解决什么问题

多模型接入时,常见的麻烦有三类。第一,每家厂商的请求格式不同,业务代码要反复适配。第二,同一模型的调用量、费用和错误率分散在各处,难以统计。第三,单一上游出现故障,会直接影响业务。New API 通过以下能力处理这些问题:

能力 实际作用
统一接口 业务系统只对接一个入口,兼容 OpenAI 协议格式
渠道与模型映射 把业务中使用的模型名映射到上游的真实模型,便于升级
负载分发与故障转移 同一模型配置多个渠道,按权重分流,失败时切换
令牌与额度管理 按用户、团队或令牌限制调用额度
调用监控 查看调用量、错误率和耗时,用于复盘成本

这套能力更适合多团队、多租户的场景。个人开发者如果只接一家模型,可能只需要配置一个渠道。

二、架构与部署

New API 使用 Go 语言和 Gin 框架开发。它以一个服务进程运行,内部按功能划分模块,并不是拆成多个独立的微服务。具体的代码结构以官方代码和文档为准。升级前,请先阅读目标版本的更新说明。

部署时需要注意以下几点:

  • Docker 部署最省事,适合快速试用和中小规模使用。
  • 数据库可选 SQLite、MySQL 或 PostgreSQL。SQLite 是单文件数据库,适合个人或单机场景。多实例部署时应使用 MySQL 或 PostgreSQL,让所有实例读写同一份数据。
  • 多实例部署时,在前端放置负载均衡器,把请求分发到各实例,并确保它们连接同一个数据库。

项目采用 AGPLv3 协议。如果你修改了源码,并以网络服务的形式对外提供,通常需要按协议公开修改部分。具体义务请与法务或合规人员确认。

该项目会处理支付、充值和额度扣减。上线前,请关注官方发布的安全公告,并升级到官方推荐的版本。若你的部署启用了支付功能,应对支付回调、计费和额度扣减链路做回归测试。

三、关键配置:渠道、负载与协议转换

1. 新建渠道并配置 Base URL

接入上游模型时,通常需要新建一个渠道,并填写 Base URL、API Key、模型列表和模型映射。下面的 JSON 只是概念示意,不能直接导入。不同版本的字段名和结构可能不同。

  1. {
  2. "name": "yi-channel",
  3. "type": "openai",
  4. "base_url": "https://your-upstream.example/v1",
  5. "api_key": "sk-xxx",
  6. "models": ["yi-large"],
  7. "model_mapping": {
  8. "yi-large": "yi-large-1.5t"
  9. }
  10. }

模型映射是别名机制的核心。业务系统始终调用 yi-large,网关再把请求转发给真实的 yi-large-1.5t。以后上游升级模型版本时,只需修改映射,业务代码无需改动。

配置前,请在项目官方文档中确认当前版本的渠道类型、字段名和映射语法。

2. 负载均衡与故障转移

同一个模型配置多个渠道时,New API 可以把请求分发到不同的上游。以下是示例值,需要根据上游的速率限制和业务延迟要求调整:

  • 主渠道权重 70,备用渠道权重 30。
  • 单次请求超时 60 秒。
  • 失败后最多重试 2 次。
  • 上游返回 429、5xx 或超时时,切换到下一个渠道。

对于高成本模型,建议单独建立渠道组,并通过令牌限制可访问的用户范围,避免普通业务误调用。

3. 协议转换

如果上游服务并非 OpenAI 协议,网关可以在中间完成协议转换。业务系统仍然使用统一的 /v1/chat/completions 调用方式,无需为每家厂商单独改写请求逻辑。启用转换后,需要逐项验证流式输出、工具调用等功能与上游原生接口是否一致。

四、接入百度智能云千帆与迁移步骤

百度智能云千帆提供文心系列模型、第三方主流模型,以及模型精调和应用开发工具。在 New API 中接入千帆,步骤与其他渠道一致:新建渠道,选择与千帆对应的渠道类型,填写 API Key 和模型列表,然后测试连通性。渠道类型的名称会随版本变化,请以当前版本的下拉列表为准。

API Key 需要在千帆控制台创建,并只授予调用所需的权限。不要把 Key 写进前端代码或代码仓库。

如果业务原本依赖 OpenAI 接口,可以按以下三步迁移。

迁移前检查

  1. 盘点现有调用的模型名、请求参数和日均调用量。
  2. 在新渠道上发送测试请求,验证返回格式、流式输出和错误码。
  3. 备份网关数据库,并验证恢复流程。

灰度切换

  1. 保留原有入口,先将约 5% 的流量切到新渠道。
  2. 对比成功率、P95 延迟和 Token 消耗。指标达标后,逐步提高比例。

回滚

  1. 将新渠道的权重调回为 0,或直接禁用该渠道。
  2. 记录回滚的时间和原因,便于后续复盘。

五、模型选型与成本估算

多模型网关的价值不止于“能调用”,还在于“选得准”。不同模型在效果、上下文长度、推理速度和价格上差异明显。选型时,可以按下表逐项记录:

维度 评估问题 记录方式
能力 能否完成核心任务,如摘要、分类或代码生成 用同一批样本评分
上下文长度 最长输入能否覆盖业务文档 同时记录标称值和实测值
价格 输入与输出分别的单价是多少 注明查询日期和计价单位,如每百万 Token
延迟 首字延迟和整体耗时能否满足要求 记录 P50 和 P95
适用场景 属于高频简单任务,还是低频复杂任务 按场景绑定对应模型

模型价格会随时间变化。引用价格时,请以模型服务商页面或公告的当日

发表评论

活动