APIPark 全面支持自定义渠道 AI 大模型接入
2025.03.24 06:22浏览量:13简介:APIPark 现已全面支持自定义渠道 AI 大模型接入,只要符合 OpenAI 格式的大模型都可以
文心大模型4.5及X1 正式发布
百度智能云千帆全面支持文心大模型4.5/X1 API调用
APIPark V1.6 版本上线,现已全面支持自定义渠道 AI 大模型接入,只要符合 OpenAI 格式的大模型都可以快捷接入。
V1.6 版本说明
- 统一模型调度接口
1.1 新增全局 Model 参数路由:在任意已接入渠道中,通过 “model=供应商ID/模型名称” 格式参数即可直接调用目标模型。
1.2 自动完成渠道路由、鉴权参数传递、响应格式标准化 - 新增 LLM 供应商接入
2.1 预集成六大服务平台:火山引擎(字节跳动云服务)、阿里百炼云(阿里巴巴智能计算平台)、Hugging Face(开源模型社区)、Ollama(本地大模型框架)、LM Studio(桌面端模型工具)、Xinference(分布式推理平台)等。
2.2 支持自定义渠道接入:支持符合 OpenAI 接口标准的第三方服务快速接入;通过标准化配置流程,5分钟完成新渠道注册! - 支持自定义模型
3.1 全渠道支持自定义模型选项
3.2 提供新增的模型参数预设模板功能
3.3 支持自定义渠道模型参数(最大token数 / 温度值 / 频率惩罚等) - 模型别名映射
4.1 AI 服务配置新增模型名称重定向功能
4.2 兼容历史配置,原有模型标识仍可正常使用
接入供应商/自定义模型
1)添加 AI 供应商
打开 APIPark 界面前往「系统设置」 - 「AI 模型」,点击右侧「添加供应商」
可以在模型供应商列表处添加系统内置的模型,也可以点击右侧「添加自定义供应商」,二者配置路径一样。
添加完供应商后,点击添加该供应商的「默认模型」,在弹窗处配置参数模板(非必要), APIPark 已经内置了热门的参数模板,选择右侧「载入预制模版」的目标参数即可一键配置。
配置完成后,「默认模型」会自动匹配刚才您填写的模型名称,然后您需要把 APIKey 复制到下方栏处,将「LLM 状态管理」改为启用状态即可保存。
2)创建发布 AI 服务
进入「工作空间」在侧边栏中选择 「添加服务」创建服务,依次配置目标 AI 服务的基本信息、归属、订阅审核形式等信息,保存完成即可在服务列表处可见新创建的「AI 服务」。
打开该「AI 服务」选择左侧「发布」并配置完成「新建版本」的基本信息即可发布。
当 AI 服务被发布后,在「API 门户」处可见成功上架的 API, 即可调用使用了。
模型别名映射
通过 APIPark 输出的 AI 统一接口,支持全局model参数路由。可在任意已接AI接口中,通过 model=供应商ID/模型名称 的格式参数即可直接调用目标模型。并且自动完成渠道路由、鉴权参数传递、响应格式标准化。
示例:”model”:”volcengine/llama3-8b” 调用火山引擎的 Llama3 模型
具体指定的 model 参数值可以在 AI Model 列表中点击 Models 的数字查看具体的模型参数值。
但部分模型的参数值名称过长,为了在开发调用过程中使用更加便捷,APIPark 提供了模型别名映射的功能。
可在对应的「AI 服务」配置中找到「模型重定向」配置,自定义简化的模型值映射为原模型值。
例如:如果需要简化火山引擎下的豆包模型的参数值,那么可通过以下的Json格式配置,将model的参数值通过「doubao」映射为「volcengine_maas/doubao-1-5-lite-32k-250115」。
该功能兼容历史配置,原有模型值仍可正常使用。以上为 APIPark V1.6 版本的重要功能,如果觉得项目对您有帮助,请前往 Github 仓给我们一颗星星,让我们更有动力!感谢!
发表评论
登录后可评论,请前往 登录 或 注册