logo

大模型部署实践:自建开源模型与调用托管服务

作者:十万个为什么2026.11.18 12:16浏览量:1

简介:模型迭代持续加快,把大模型接入业务,要在开源权重模型自建与调用托管模型服务之间做选择。本文给出大模型推理服务的完整部署方案,涵盖选型、容量估算、环境准备、配置要点、灰度上线、验证清单、回滚与运维。你可以据此判断哪条路线更适合自己,并掌握一套可复用的上线与排障方法。

一、部署概述

1. 部署对象。 本文讨论的部署对象是一个可对外提供推理能力的大模型服务。它由四部分组成:

  • 模型权重;
  • 推理运行时;
  • 对外接口的接入网关;
  • 支撑运行的算力、存储、网络与可观测组件。

部署完成后,业务系统可以通过统一的 HTTP 接口调用模型,完成文本理解、生成、摘要、分类等任务。

2. 两条部署路线。 2026 年以来,主流模型服务厂商的发布明显提速。头部厂商从一家独大走向多强并立,国内厂商也在密集推出新版本,基础模型正像水电一样逐步变成可调用的公共服务。模型能力快速商品化,直接带来两个变化:

  • 调用托管服务的上手门槛不断降低;
  • 开源权重的可选范围持续扩大。

由此形成两条路线:

  • 自建部署:下载开源权重模型,在自有或租用的算力资源上拉起推理服务;
  • 托管接入:对接某云厂商或某模型平台提供的托管模型服务。此时”部署”从部署模型本身,转变为部署网关、客户端适配与治理能力。

开源还是闭源,本质是在回答一个问题:模型能力由自己掌握,还是由服务方提供。路线一旦确定,资源规划、安全边界、成本结构与后续运维重点都会随之改变。

3. 部署目标。 判断一次大模型服务部署是否成功,不能只看”进程起来了”,可以参照以下标准:

  • 功能可用:单轮问答、多轮对话、流式输出等场景结果符合预期;
  • 质量不降:标准评测集表现与上线前的基线评测一致,量化后无明显退化;
  • 性能达标:首字延迟、端到端延迟、吞吐量满足业务约定;
  • 运行稳定:具备多副本、健康检查与故障自愈能力;
  • 安全合规:身份认证、权限隔离、内容安全与日志审计到位;
  • 成本可控:有配额限制、资源利用率与费用监控。

4. 适用读者。 本文面向三类读者:

  • 开发者:关注接口对接与配置方式;
  • 运维人员:关注部署步骤、验证与排障;
  • 架构师与技术负责人:关注路线选择、容量与成本。

5. 部署前应理解的背景。

  • 应用类型:大模型服务通常以在线推理为主,同时承载请求排队、限流、缓存等治理能力。部分任务(文档批处理、离线标注)属于异步批处理,资源规划方式不同。
  • 服务形态:交互式对话对首字延迟敏感,离线生成更看重单位成本。
  • 运行环境:可部署在云服务器、容器平台、函数计算、私有环境或混合环境,不同环境对加速卡、驱动和网络的准备方式不同。
  • 网络访问方式:以内网调用为主,对外暴露时需在网关层统一鉴权与限流。
  • 数据依赖:除模型权重外,还可能涉及向量库、会话存储与对象存储。

二、部署场景:什么情况下自建,什么情况下调用托管

2.1 两类场景的取舍

适合自建的典型场景:

  • 数据敏感:合同、病历、源代码等数据不能出内网;
  • 合规要求:行业监管要求数据与处理过程留在自有环境;
  • 负载稳定:日均调用量高且可预估,长期来看自建单位成本更低;
  • 需要深度定制:需要在开源权重上做低秩适配(LoRA)等参数高效微调,或调整采样策略与推理参数;
  • 稳定离线:业务在弱网或无公网环境运行,不能依赖外部服务;
  • 技术储备充足:团队具备加速卡驱动、容器编排与推理优化的运维经验。

适合调用托管的典型场景:

  • 快速验证:尚未确定业务价值,希望以最小投入验证效果;
  • 人力有限:团队缺少推理运维经验,也没有专职的模型运维岗;
  • 负载波动大:流量有明显波峰波谷,自建难以兼顾利用率与峰值余量;
  • 跟随迭代:需要持续使用服务方新发布的模型能力。自建则每升级一次模型,都要重新走一遍部署与回归流程;
  • 长尾任务:调用分散、单次调用量小,自建资源利用率偏低。

建议采用混合部署的场景:

  • 敏感请求走自建推理服务,非敏感请求调用托管服务;
  • 按任务复杂度分流,简单请求交给小参数模型,复杂请求交给大参数模型或托管服务。

混合部署对网关的路由与降级能力要求更高,部署时需提前设计。

2.2 两条路线的部署差异

维度 自建开源模型 调用托管服务
部署对象 权重、推理运行时、推理服务、网关 网关、客户端适配层、缓存与降级逻辑
核心资源 加速卡、显存、内存、本地高速存储 公网带宽、网关实例、缓存
上线周期 较长,需要验证、调优与压测 较短,以联调为主
成本结构 以资源租用为主,与调用量关系较弱 按调用量或输入输出量计费,需关注费用预算
数据边界 数据可留在自有网络内 需评估数据出境范围,必要时脱敏
迭代方式 自主控制,自行验证新权重 由服务方发布,需关注接口兼容与版本下线通知
运维重点 容量、显存、吞吐、故障恢复 配额、限流、超时重试、成本告警
模型可控性 可微调、可裁剪、可本地评测 只能选择与调参,不能修改权重

三、架构与组件

3.1 总体架构

  1. [业务应用/前端]
  2. │ HTTPS
  3. ▼
  4. [接入网关] 鉴权 · 限流 · 路由 · 内容安全 · 日志
  5. │
  6. ├──► [自建推理服务 副本 1..N] ──► [模型权重(本地高速盘)]
  7. │ │
  8. │ ├──► [结果缓存 / 向量检索(可选)]
  9. │ └──► [会话存储(多轮对话)]
  10. │
  11. └──► [托管模型服务](通过出网访问)
  12. │
  13. [可观测体系] 指标监控 · 日志服务 · 链路追踪 · 告警通知

3.2 分层拆解

层级 关键组件 部署要点
接入层 负载均衡、域名、证书、网关 七层负载均衡配合统一鉴权;流式响应需放宽超时
推理层 推理框架、权重、量化方案 权重版本化管理;量化前完成质量回归
计算层 加速卡、CPU、内存 按显存与吞吐需求选型,必要时多卡并行
数据层 对象存储、向量库、会话存储、缓存 敏感数据加密;向量库容量与检索延迟纳入监控
可观测层 指标、日志、链路追踪、告警 指标带请求标识维度;日志脱敏
安全层 身份认证、密钥管理、内容安全、审计 密钥集中托管并定期轮换;最小权限

四、前置准备

4.1 账号、权限与合规

  • 梳理部署所需权限,如云服务器管理、容器平台部署、对象存储读写、日志与监控配置等。遵循最小权限原则,为部署、运维、审计分配不同角色;
  • 核对开源权重模型的许可协议,确认是否允许商用、是否要求署名或同协议开源,以及是否禁止特定用途。协议要求可能影响发布方式,应在选型阶段完成法务确认;
  • 明确数据分级,标出可送往外部服务的字段与必须留在内部的字段。

4.2 资源规格

资源规格决定部署形态,需要先估算、后选型。

显存估算:

  • 基本公式:模型权重大小 ≈ 参数量 × 每参数字节数。FP16 每参数占 2 字节,INT8 占 1 字节,INT4 约 0.5 字节;
  • 粗算示例:7B 模型 FP16 权重约 14GB,INT4 约 3.5GB;70B 模型 FP16 权重约 140GB,单卡通常放不下;
  • 附加开销:KV Cache(随并发数 × 上下文长度增长)和运行时开销。显存按峰值的 1.2~1.3 倍预留;
  • 落地要求:以实际压测的峰值显存为准,不要把估算值当作上限。

吞吐与副本数估算:

  • 利用利特尔法则:所需并发 ≈ 目标吞吐(tokens/s)÷ 单请求生成速度(tokens/s);
  • 示例:目标 1000 tokens/s,单请求 25 tokens/s,约需 40 并发;
  • 示例:实测单副本在可接受延迟下可稳定支撑 20 并发,则至少需要 2 个副本,并留有余量。

其余资源按下表准备:

资源 作用 准备建议
CPU 与内存 分词、前后处理、请求排队 不低于加速卡配套要求,预留峰值余量
本地高速盘 缓存权重,缩短重启后的加载时间 容量 ≥ 权重大小的 2 倍,兼顾多版本共存
对象存储 存放权重、微调产物、审计日志 开启版本管理与生命周期策略
网络 内网调用、出网访问托管服务 生产内网优先;出网经固定出口并做白名单

4.3 镜像与依赖

  • 选择包含目标运行时的基础镜像,固定推理框架、服务代码与依赖版本,并用依赖锁定文件记录精确版本;
  • 镜像启动前校验:加速卡驱动版本与运行时要求匹配、权限正确、时区统一;
  • 镜像需版本化并推送到私有镜像仓库。标签同时记录模型版本与代码版本,方便追溯。

4.4 配置与密钥

  • 区分环境变量(部署形态相关,如副本数、端口、资源限制)与配置文件(业务相关,如路由规则、限流阈值、内容安全策略);
  • 密钥不写入镜像、代码与配置文件,统一放入密钥管理能力中,按最小权限下发;
  • 生产配置由配置管理或密钥管理服务下发,开发、测试、生产使用同一套配置模板,仅通过环境变量区分差异。

4.5 网络与证书

  • 解析推理服务专用域名,在网关侧配置证书并启用加密传输;
  • 按最小范围放通安全组:
    • 网关到推理服务仅开放服务端口;
    • 私有环境需要访问对象存储的,采用私网访问方式;
    • 调用托管服务的,仅放通服务方公布的接口地址;
  • 流式响应可能持续较长时间,需要适当放宽负载均衡、反向代理与网关的超时和缓冲策略。

4.6 数据准备

  • 评测集:覆盖典型业务问题、边界问题与敏感问题,作为上线前后质量对比的基准;
  • 向量库:若采用检索增强生成(RAG),需要提前完成文档切分与索引构建,并估算索引容量;
  • 会话存储:多轮对话需保存会话状态,建议设置过期时间,避免无限增长;
  • 数据脱敏:外部服务涉及的请求与响应,应在网关层完成脱敏。

4.7 发布准备

  • 准备回滚基线:记录当前线上版本、镜像标签与关键配置,回滚时据此恢复;
  • 约定灰度比例、观察时长与熔断阈值,例如错误率超过 5% 或 P95 延迟超过基线 1.5 倍即停止放量;
  • 通知相关方上线窗口,准备值班与应急联系人。

五、部署流程

整体顺序如下:

容量评估 → 环境初始化 → 资源创建 → 权重准备 → 配置推理服务 → 启动与预热 → 网关接入 → 灰度切流 → 验证观察

顺序不能随意调整:资源没就绪,服务无法启动;权重没就位,推理服务无法完成模型加载;网关没有配置健康检查,灰度切流就无法自动收敛。

步骤 1:容量评估

  • 输出:资源清单(加速卡规格与数量、副本数、存储与网络带宽)和容量假设(日均调用量、输入输出长度、峰值倍数);
  • 为什么重要:容量假设是后续限流阈值、扩缩容策略与成本预算的输入。假设偏差大,要么上线即过载,要么资源长期闲置。

步骤 2:环境初始化

  • 云服务器:安装匹配的加速卡驱动与运行时,并固定版本;
  • 容器平台:确认节点加速卡资源可调度、镜像仓库可访问、存储卷已挂载;
  • 私有环境:确认驱动、运行时和依赖镜像可离线获取;
  • 为什么重要:驱动与运行时版本不匹配,是自建部署中最常见的启动失败原因之一。

步骤 3:资源创建

  • 创建计算资源,并按副本做反亲和调度,避免多个副本落在同一物理节点;
  • 配置就绪/存活探针、资源请求与限制、滚动更新策略;
  • 为什么重要:探针决定流量何时被切入,资源限制决定单副本被限制的上限。配置不当会导致副本反复重启,或突发流量下被直接终止。

步骤 4:权重准备

  • 从可信来源下载权重,校验文件哈希与目录完整性;
  • 权重上传到对象存储,并设置版本化目录;
  • 推理节点首次启动时,从对象存储同步到本地高速盘;
  • 为什么重要:大模型权重通常有数十 GB,若每次扩容都从远端拉取,扩容速度会跟不上流量增长。本地缓存能显著缩短扩容与重启后的就绪时间。

步骤 5:配置推理服务

按第六节的配置示例设置参数,重点包括:

  • 量化精度;
  • 上下文长度;
  • 批处理;
  • 并发;
  • 超时;
  • 流式。

步骤 6:启动与预热

  • 启动服务,等待模型加载完成;
  • 就绪探针通过后,执行预热请求:发送典型长度的输入,并生成少量 token;
  • 为什么重要:首次推理通常伴随运行时初始化(如编译与图捕获),预热可以避免首个真实请求承担这部分开销。

步骤 7:网关接入

  • 将推理服务注册到网关后端,配置鉴权、限流、内容安全与结构化日志;
  • 网关超时设置为大于推理服务内部超时;
  • 为什么重要:超时配置遵循”由内向外逐层放宽”。内部已超时,外层提前断开,会造成重复计算与重复计费。

步骤 8:灰度切流与观察

  • 按 5% → 20% → 50% → 100% 放量,每档观察至少一个业务高峰周期;
  • 每档观察:
    • 错误率;
    • P95/P99 延迟;
    • 显存占用;
    • 排队情况;
    • 质量抽检结果。
  • 指标稳定后再进入下一档。

托管接入路线的步骤 2~6 大幅简化:重点是准备出网访问、调用凭据与超时重试配置,其余步骤(网关治理、灰度、验证)同样适用。

回滚要点

  • 触发条件:错误率、延迟、资源使用率或质量抽检任一超过阈值;
  • 快速回退:保留上一版本镜像与配置,按比例回退流量,确保数分钟内恢复;
  • 数据安全:对象存储开启版本化,关键数据配置保留策略,防止误删导致无法回退;
  • 配置回退:配置文件与代码分离管理,回滚时一并恢复上一版配置。

六、关键配置说明

  1. # 推理服务配置示例(字段名为示意,以实际部署组件的参数为准)
  2. model:
  3. name: "base-model" # 模型标识
  4. version: "v20260915" # 权重版本,与镜像标签对应
  5. precision: "fp16" # 可选 fp16 / int8 / int4;量化会降低显存占用,但可能影响输出质量
  6. context_length: 8192 # 上下文长度;越大,KV Cache 占用越高
  7. runtime:
  8. tensor_parallel_size: 1 # 张量并行数;模型权重超过单卡显存时需多卡并行
  9. max_num_seqs: 16 # 最大并发序列数;决定显存峰值与吞吐上限
  10. max_num_batched_tokens: 8192 # 单批最大 token 数;批越大吞吐越高,但长请求排队更久
  11. service:
  12. port: 8080 # 服务端口,仅对网关放通
  13. readiness_path: "/ready" # 就绪探针:模型加载完成且可推理才返回成功
  14. liveness_path: "/healthz" # 存活探针:进程健康即可,避免加载期间被误重启
  15. stream: true # 是否支持流式返回;流式需配套调整网关超时与缓冲
  16. request_timeout_ms: 30000 # 内部超时,应小于网关超时
  17. abort_on_overload: true # 过载时快速拒绝请求,而不是让请求无限排队
配置项 作用 调整方向 风险点
量化精度 决定显存占用与输出质量 资源紧张时用 INT8/INT4,质量敏感时用 FP16 量化前后必须回归评测
上下文长度 决定单次可处理的输入长度 按实际业务上限设置,不要照搬最大规格 设置过大导致 KV Cache 溢出或显存不足
最大并发 决定显存峰值与吞吐上限 从保守值起步,逐步压测上调 过大会引发 OOM,过小会导致排队超时
批处理参数 在吞吐与尾延迟之间权衡 交互式场景偏保守,离线任务可适当放大 长请求排在短请求后,造成尾延迟升高
超时与重试 防止故障扩散 按 token 生成耗时估算,逐层放宽 超时短于生成时长,导致请求被反复截断
限流 保护后端与账户配额 按副本容量与账户配额设置 阈值过高失去保护作用,过低影响正常业务
权重版本 支撑回滚与追溯 镜像、配置、权重三者版本绑定 权重被原地覆盖,回滚时无法恢复

七、上线验证

7.1 验证清单

类别 验证项 方法 通过标准
基础 就绪与存活探针 查看探针状态与副本事件 全部副本 Ready,无重启
功能 单轮问答 发送典型业务问题 结果符合预期,无乱码与截断
功能 多轮对话 连续追问,引用前文信息 上下文保持正确
功能 长文本 输入接近上下文上限的文本 正常返回或按策略截断,不报错
功能 流式输出 开启流式请求 首字延迟在目标范围内,输出完整
功能 异常输入 空输入、超长输入、特殊字符 返回明确错误码,服务不崩溃
性能 并发压测 阶梯加压(如 5/10/20/40 并发) 无错误;P95 延迟与吞吐达到容量假设
性能 峰值显存 压测期间采集显存曲线 峰值低于单卡显存的 85%~90%
质量 评测集回归 跑上线前基线评测集 与基线一致;量化版本无明显下降
安全 鉴权与脱敏 无凭据访问、越权访问、敏感字段检查 未授权请求被拒绝,日志无明文密钥与敏感信息
可观测 指标与告警 触发一次模拟异常 告警按预期送达值班人
回滚 回滚演练 在测试环境执行一次完整回滚 恢复时间在约定范围内

7.2 压测注意事项

  • 压测流量在生产环境发起时,需提前与网关、业务方约定;
  • 压测请求应带独立标识,便于在日志与指标中区分;
  • 压测时长要覆盖一个完整的生成过程,短请求测不出真实尾延迟。

八、常见问题与排查

现象 可能原因 排查与处理
服务启动即退出 驱动与运行时版本不匹配;权限不足;配置文件解析失败;端口被占用 查看启动日志首条错误;核对驱动版本与镜像要求;检查挂载与端口
模型加载慢或反复重启 每次启动都从远端拉取权重;内存不足;探针过早判定失败 使用本地权重缓存;适当放宽启动探针的初始延迟
OOM 或显存不足 并发过大;上下文长度过长;批参数激进;显存碎片 下调并发与批参数;量化;多卡并行;重启释放碎片
首个请求特别慢 未预热;权重未驻留内存 启动后执行预热请求;保持常驻副本
吞吐低于预期 批处理未生效;分词与前后处理成为瓶颈;副本数不足 检查批处理配置;将 CPU 密集操作异步化;增加副本
尾延迟(P99)偏高 长请求阻塞队列;日志同步刷盘;缓存未命中 按请求长度分级路由;日志异步化;对相同前缀启用缓存复用
网关返回 502/504 后端未就绪;超时过短;副本被限流终止 检查探针与就绪状态;放宽超时;调整资源限制
流式输出中断 中间代理缓冲;超时过短 关闭代理缓冲;放宽超时;确认编码与分块传输配置
输出质量下降 量化精度;采样参数变更;模板变更 对比基线评测;回退参数;确认提示词模板一致
托管服务报限流或配额错误 账户配额上限;瞬时并发过高 申请提升配额;客户端加退避重试;高峰请求进入本地队列
费用异常增长 副本长期高水位;长上下文请求多;缺少缓存 按利用率缩容;限制最大输入长度;缓存高频结果

排查通用方法:

  1. 定位层级:先看网关错误码,再分别看推理服务日志与资源指标,避免一上来就重启服务;
  2. 对比变量:与上一稳定版本对比镜像、配置、权重版本,优先回退最近变更;
  3. 量化复现:用固定输入与固定参数复现问题,排除采样随机性带来的干扰。

九、运维与优化

9.1 稳定性保障

  • 多副本加反亲和调度,结合就绪探针摘除异常副本;
  • 网关侧配置熔断与降级,例如自建服务过载时,将非敏感请求降级到小参数模型或托管服务;
  • 定期演练故障恢复:重启副本、摘除节点、模拟加速卡异常,验证自愈流程。

9.2 安全控制

  • 网关统一鉴权,推理服务不直接暴露公网;
  • 密钥集中托管、定期轮换,按最小权限下发;
  • 传输与静态加密,敏感数据脱敏后再进入日志;
  • 保留调用审计记录,满足追溯要求。

9.3 性能优化

  • 量化、批处理调优、多卡并行;
  • 对相同前缀的请求启用缓存复用,减少重复计算;
  • 异步化非实时任务,如批量文档处理、离线摘要;
  • 按请求复杂度分级路由,简单请求交给小模型,降低整体成本。

9.4 弹性扩展

  • 以”排队数、并发数、显存使用率”作为扩缩容依据,比单纯看 CPU 使用率更贴近推理负载;
  • 设置最小副本数,保证突发流量的基础承载;
  • 扩容前确认加速卡库存与配额,避免扩容请求排队。

9.5 成本控制

  • 按波峰配置峰值容量,按波谷缩容;
  • 非关键任务可使用竞价类实例,但必须能容忍中断;
  • 对象存储设置生命周期策略,自动清理过期日志与临时文件;
  • 对托管调用设置预算告警,按调用方拆分用量。

9.6 可维护性

  • 版本化管理:镜像、配置、权重三者版本一一对应;
  • 定期回归评测,模型更新或参数调整后执行同一套评测集;
  • 维护部署手册与值班手册,明确每类告警的处理路径。

十、总结

大模型服务部署的关键,是先回答”部署什么、部署到哪里、要准备什么”,再回答”怎么上线、怎么验证、怎么运维”。

  • 路线选择:开源权重自建适合数据敏感、负载稳定、需要深度定制的场景;托管接入适合快速验证、人力有限、负载波动的场景。多数业务最终会走向混合部署;
  • 部署准备:资源规划先于部署。显存、吞吐与副本数的估算结果,决定后续全部配置;
  • 上线质量:上线不是部署的终点。灰度切流、分层验证与回滚预案,决定上线过程是否可控;
  • 持续运维:运维重点是监控告警、弹性伸缩与成本控制。

若在百度智能云上部署,可以结合通用云服务器、容器平台、对象存储、日志服务与监控告警等能力搭建上述架构;采用托管模型服务时,则重点做好网关治理、超时重试与用量管理。

发表评论

活动