大模型部署实践:自建开源模型与调用托管服务
作者:十万个为什么2026.11.18 12:16浏览量:1简介:模型迭代持续加快,把大模型接入业务,要在开源权重模型自建与调用托管模型服务之间做选择。本文给出大模型推理服务的完整部署方案,涵盖选型、容量估算、环境准备、配置要点、灰度上线、验证清单、回滚与运维。你可以据此判断哪条路线更适合自己,并掌握一套可复用的上线与排障方法。
一、部署概述
1. 部署对象。 本文讨论的部署对象是一个可对外提供推理能力的大模型服务。它由四部分组成:
- 模型权重;
- 推理运行时;
- 对外接口的接入网关;
- 支撑运行的算力、存储、网络与可观测组件。
部署完成后,业务系统可以通过统一的 HTTP 接口调用模型,完成文本理解、生成、摘要、分类等任务。
2. 两条部署路线。 2026 年以来,主流模型服务厂商的发布明显提速。头部厂商从一家独大走向多强并立,国内厂商也在密集推出新版本,基础模型正像水电一样逐步变成可调用的公共服务。模型能力快速商品化,直接带来两个变化:
- 调用托管服务的上手门槛不断降低;
- 开源权重的可选范围持续扩大。
由此形成两条路线:
- 自建部署:下载开源权重模型,在自有或租用的算力资源上拉起推理服务;
- 托管接入:对接某云厂商或某模型平台提供的托管模型服务。此时”部署”从部署模型本身,转变为部署网关、客户端适配与治理能力。
开源还是闭源,本质是在回答一个问题:模型能力由自己掌握,还是由服务方提供。路线一旦确定,资源规划、安全边界、成本结构与后续运维重点都会随之改变。
3. 部署目标。 判断一次大模型服务部署是否成功,不能只看”进程起来了”,可以参照以下标准:
- 功能可用:单轮问答、多轮对话、流式输出等场景结果符合预期;
- 质量不降:标准评测集表现与上线前的基线评测一致,量化后无明显退化;
- 性能达标:首字延迟、端到端延迟、吞吐量满足业务约定;
- 运行稳定:具备多副本、健康检查与故障自愈能力;
- 安全合规:身份认证、权限隔离、内容安全与日志审计到位;
- 成本可控:有配额限制、资源利用率与费用监控。
4. 适用读者。 本文面向三类读者:
- 开发者:关注接口对接与配置方式;
- 运维人员:关注部署步骤、验证与排障;
- 架构师与技术负责人:关注路线选择、容量与成本。
5. 部署前应理解的背景。
- 应用类型:大模型服务通常以在线推理为主,同时承载请求排队、限流、缓存等治理能力。部分任务(文档批处理、离线标注)属于异步批处理,资源规划方式不同。
- 服务形态:交互式对话对首字延迟敏感,离线生成更看重单位成本。
- 运行环境:可部署在云服务器、容器平台、函数计算、私有环境或混合环境,不同环境对加速卡、驱动和网络的准备方式不同。
- 网络访问方式:以内网调用为主,对外暴露时需在网关层统一鉴权与限流。
- 数据依赖:除模型权重外,还可能涉及向量库、会话存储与对象存储。
二、部署场景:什么情况下自建,什么情况下调用托管
2.1 两类场景的取舍
适合自建的典型场景:
- 数据敏感:合同、病历、源代码等数据不能出内网;
- 合规要求:行业监管要求数据与处理过程留在自有环境;
- 负载稳定:日均调用量高且可预估,长期来看自建单位成本更低;
- 需要深度定制:需要在开源权重上做低秩适配(LoRA)等参数高效微调,或调整采样策略与推理参数;
- 稳定离线:业务在弱网或无公网环境运行,不能依赖外部服务;
- 技术储备充足:团队具备加速卡驱动、容器编排与推理优化的运维经验。
适合调用托管的典型场景:
- 快速验证:尚未确定业务价值,希望以最小投入验证效果;
- 人力有限:团队缺少推理运维经验,也没有专职的模型运维岗;
- 负载波动大:流量有明显波峰波谷,自建难以兼顾利用率与峰值余量;
- 跟随迭代:需要持续使用服务方新发布的模型能力。自建则每升级一次模型,都要重新走一遍部署与回归流程;
- 长尾任务:调用分散、单次调用量小,自建资源利用率偏低。
建议采用混合部署的场景:
- 敏感请求走自建推理服务,非敏感请求调用托管服务;
- 按任务复杂度分流,简单请求交给小参数模型,复杂请求交给大参数模型或托管服务。
混合部署对网关的路由与降级能力要求更高,部署时需提前设计。
2.2 两条路线的部署差异
| 维度 | 自建开源模型 | 调用托管服务 |
|---|---|---|
| 部署对象 | 权重、推理运行时、推理服务、网关 | 网关、客户端适配层、缓存与降级逻辑 |
| 核心资源 | 加速卡、显存、内存、本地高速存储 | 公网带宽、网关实例、缓存 |
| 上线周期 | 较长,需要验证、调优与压测 | 较短,以联调为主 |
| 成本结构 | 以资源租用为主,与调用量关系较弱 | 按调用量或输入输出量计费,需关注费用预算 |
| 数据边界 | 数据可留在自有网络内 | 需评估数据出境范围,必要时脱敏 |
| 迭代方式 | 自主控制,自行验证新权重 | 由服务方发布,需关注接口兼容与版本下线通知 |
| 运维重点 | 容量、显存、吞吐、故障恢复 | 配额、限流、超时重试、成本告警 |
| 模型可控性 | 可微调、可裁剪、可本地评测 | 只能选择与调参,不能修改权重 |
三、架构与组件
3.1 总体架构
[业务应用/前端]│ HTTPS▼[接入网关] 鉴权 · 限流 · 路由 · 内容安全 · 日志│├──► [自建推理服务 副本 1..N] ──► [模型权重(本地高速盘)]│ ││ ├──► [结果缓存 / 向量检索(可选)]│ └──► [会话存储(多轮对话)]│└──► [托管模型服务](通过出网访问)│[可观测体系] 指标监控 · 日志服务 · 链路追踪 · 告警通知
3.2 分层拆解
| 层级 | 关键组件 | 部署要点 |
|---|---|---|
| 接入层 | 负载均衡、域名、证书、网关 | 七层负载均衡配合统一鉴权;流式响应需放宽超时 |
| 推理层 | 推理框架、权重、量化方案 | 权重版本化管理;量化前完成质量回归 |
| 计算层 | 加速卡、CPU、内存 | 按显存与吞吐需求选型,必要时多卡并行 |
| 数据层 | 对象存储、向量库、会话存储、缓存 | 敏感数据加密;向量库容量与检索延迟纳入监控 |
| 可观测层 | 指标、日志、链路追踪、告警 | 指标带请求标识维度;日志脱敏 |
| 安全层 | 身份认证、密钥管理、内容安全、审计 | 密钥集中托管并定期轮换;最小权限 |
四、前置准备
4.1 账号、权限与合规
- 梳理部署所需权限,如云服务器管理、容器平台部署、对象存储读写、日志与监控配置等。遵循最小权限原则,为部署、运维、审计分配不同角色;
- 核对开源权重模型的许可协议,确认是否允许商用、是否要求署名或同协议开源,以及是否禁止特定用途。协议要求可能影响发布方式,应在选型阶段完成法务确认;
- 明确数据分级,标出可送往外部服务的字段与必须留在内部的字段。
4.2 资源规格
资源规格决定部署形态,需要先估算、后选型。
显存估算:
- 基本公式:模型权重大小 ≈ 参数量 × 每参数字节数。FP16 每参数占 2 字节,INT8 占 1 字节,INT4 约 0.5 字节;
- 粗算示例:7B 模型 FP16 权重约 14GB,INT4 约 3.5GB;70B 模型 FP16 权重约 140GB,单卡通常放不下;
- 附加开销:KV Cache(随并发数 × 上下文长度增长)和运行时开销。显存按峰值的 1.2~1.3 倍预留;
- 落地要求:以实际压测的峰值显存为准,不要把估算值当作上限。
吞吐与副本数估算:
- 利用利特尔法则:所需并发 ≈ 目标吞吐(tokens/s)÷ 单请求生成速度(tokens/s);
- 示例:目标 1000 tokens/s,单请求 25 tokens/s,约需 40 并发;
- 示例:实测单副本在可接受延迟下可稳定支撑 20 并发,则至少需要 2 个副本,并留有余量。
其余资源按下表准备:
| 资源 | 作用 | 准备建议 |
|---|---|---|
| CPU 与内存 | 分词、前后处理、请求排队 | 不低于加速卡配套要求,预留峰值余量 |
| 本地高速盘 | 缓存权重,缩短重启后的加载时间 | 容量 ≥ 权重大小的 2 倍,兼顾多版本共存 |
| 对象存储 | 存放权重、微调产物、审计日志 | 开启版本管理与生命周期策略 |
| 网络 | 内网调用、出网访问托管服务 | 生产内网优先;出网经固定出口并做白名单 |
4.3 镜像与依赖
- 选择包含目标运行时的基础镜像,固定推理框架、服务代码与依赖版本,并用依赖锁定文件记录精确版本;
- 镜像启动前校验:加速卡驱动版本与运行时要求匹配、权限正确、时区统一;
- 镜像需版本化并推送到私有镜像仓库。标签同时记录模型版本与代码版本,方便追溯。
4.4 配置与密钥
- 区分环境变量(部署形态相关,如副本数、端口、资源限制)与配置文件(业务相关,如路由规则、限流阈值、内容安全策略);
- 密钥不写入镜像、代码与配置文件,统一放入密钥管理能力中,按最小权限下发;
- 生产配置由配置管理或密钥管理服务下发,开发、测试、生产使用同一套配置模板,仅通过环境变量区分差异。
4.5 网络与证书
- 解析推理服务专用域名,在网关侧配置证书并启用加密传输;
- 按最小范围放通安全组:
- 网关到推理服务仅开放服务端口;
- 私有环境需要访问对象存储的,采用私网访问方式;
- 调用托管服务的,仅放通服务方公布的接口地址;
- 流式响应可能持续较长时间,需要适当放宽负载均衡、反向代理与网关的超时和缓冲策略。
4.6 数据准备
- 评测集:覆盖典型业务问题、边界问题与敏感问题,作为上线前后质量对比的基准;
- 向量库:若采用检索增强生成(RAG),需要提前完成文档切分与索引构建,并估算索引容量;
- 会话存储:多轮对话需保存会话状态,建议设置过期时间,避免无限增长;
- 数据脱敏:外部服务涉及的请求与响应,应在网关层完成脱敏。
4.7 发布准备
- 准备回滚基线:记录当前线上版本、镜像标签与关键配置,回滚时据此恢复;
- 约定灰度比例、观察时长与熔断阈值,例如错误率超过 5% 或 P95 延迟超过基线 1.5 倍即停止放量;
- 通知相关方上线窗口,准备值班与应急联系人。
五、部署流程
整体顺序如下:
容量评估 → 环境初始化 → 资源创建 → 权重准备 → 配置推理服务 → 启动与预热 → 网关接入 → 灰度切流 → 验证观察
顺序不能随意调整:资源没就绪,服务无法启动;权重没就位,推理服务无法完成模型加载;网关没有配置健康检查,灰度切流就无法自动收敛。
步骤 1:容量评估
- 输出:资源清单(加速卡规格与数量、副本数、存储与网络带宽)和容量假设(日均调用量、输入输出长度、峰值倍数);
- 为什么重要:容量假设是后续限流阈值、扩缩容策略与成本预算的输入。假设偏差大,要么上线即过载,要么资源长期闲置。
步骤 2:环境初始化
- 云服务器:安装匹配的加速卡驱动与运行时,并固定版本;
- 容器平台:确认节点加速卡资源可调度、镜像仓库可访问、存储卷已挂载;
- 私有环境:确认驱动、运行时和依赖镜像可离线获取;
- 为什么重要:驱动与运行时版本不匹配,是自建部署中最常见的启动失败原因之一。
步骤 3:资源创建
- 创建计算资源,并按副本做反亲和调度,避免多个副本落在同一物理节点;
- 配置就绪/存活探针、资源请求与限制、滚动更新策略;
- 为什么重要:探针决定流量何时被切入,资源限制决定单副本被限制的上限。配置不当会导致副本反复重启,或突发流量下被直接终止。
步骤 4:权重准备
- 从可信来源下载权重,校验文件哈希与目录完整性;
- 权重上传到对象存储,并设置版本化目录;
- 推理节点首次启动时,从对象存储同步到本地高速盘;
- 为什么重要:大模型权重通常有数十 GB,若每次扩容都从远端拉取,扩容速度会跟不上流量增长。本地缓存能显著缩短扩容与重启后的就绪时间。
步骤 5:配置推理服务
按第六节的配置示例设置参数,重点包括:
- 量化精度;
- 上下文长度;
- 批处理;
- 并发;
- 超时;
- 流式。
步骤 6:启动与预热
- 启动服务,等待模型加载完成;
- 就绪探针通过后,执行预热请求:发送典型长度的输入,并生成少量 token;
- 为什么重要:首次推理通常伴随运行时初始化(如编译与图捕获),预热可以避免首个真实请求承担这部分开销。
步骤 7:网关接入
- 将推理服务注册到网关后端,配置鉴权、限流、内容安全与结构化日志;
- 网关超时设置为大于推理服务内部超时;
- 为什么重要:超时配置遵循”由内向外逐层放宽”。内部已超时,外层提前断开,会造成重复计算与重复计费。
步骤 8:灰度切流与观察
- 按 5% → 20% → 50% → 100% 放量,每档观察至少一个业务高峰周期;
- 每档观察:
- 错误率;
- P95/P99 延迟;
- 显存占用;
- 排队情况;
- 质量抽检结果。
- 指标稳定后再进入下一档。
托管接入路线的步骤 2~6 大幅简化:重点是准备出网访问、调用凭据与超时重试配置,其余步骤(网关治理、灰度、验证)同样适用。
回滚要点
- 触发条件:错误率、延迟、资源使用率或质量抽检任一超过阈值;
- 快速回退:保留上一版本镜像与配置,按比例回退流量,确保数分钟内恢复;
- 数据安全:对象存储开启版本化,关键数据配置保留策略,防止误删导致无法回退;
- 配置回退:配置文件与代码分离管理,回滚时一并恢复上一版配置。
六、关键配置说明
# 推理服务配置示例(字段名为示意,以实际部署组件的参数为准)model:name: "base-model" # 模型标识version: "v20260915" # 权重版本,与镜像标签对应precision: "fp16" # 可选 fp16 / int8 / int4;量化会降低显存占用,但可能影响输出质量context_length: 8192 # 上下文长度;越大,KV Cache 占用越高runtime:tensor_parallel_size: 1 # 张量并行数;模型权重超过单卡显存时需多卡并行max_num_seqs: 16 # 最大并发序列数;决定显存峰值与吞吐上限max_num_batched_tokens: 8192 # 单批最大 token 数;批越大吞吐越高,但长请求排队更久service:port: 8080 # 服务端口,仅对网关放通readiness_path: "/ready" # 就绪探针:模型加载完成且可推理才返回成功liveness_path: "/healthz" # 存活探针:进程健康即可,避免加载期间被误重启stream: true # 是否支持流式返回;流式需配套调整网关超时与缓冲request_timeout_ms: 30000 # 内部超时,应小于网关超时abort_on_overload: true # 过载时快速拒绝请求,而不是让请求无限排队
| 配置项 | 作用 | 调整方向 | 风险点 |
|---|---|---|---|
| 量化精度 | 决定显存占用与输出质量 | 资源紧张时用 INT8/INT4,质量敏感时用 FP16 | 量化前后必须回归评测 |
| 上下文长度 | 决定单次可处理的输入长度 | 按实际业务上限设置,不要照搬最大规格 | 设置过大导致 KV Cache 溢出或显存不足 |
| 最大并发 | 决定显存峰值与吞吐上限 | 从保守值起步,逐步压测上调 | 过大会引发 OOM,过小会导致排队超时 |
| 批处理参数 | 在吞吐与尾延迟之间权衡 | 交互式场景偏保守,离线任务可适当放大 | 长请求排在短请求后,造成尾延迟升高 |
| 超时与重试 | 防止故障扩散 | 按 token 生成耗时估算,逐层放宽 | 超时短于生成时长,导致请求被反复截断 |
| 限流 | 保护后端与账户配额 | 按副本容量与账户配额设置 | 阈值过高失去保护作用,过低影响正常业务 |
| 权重版本 | 支撑回滚与追溯 | 镜像、配置、权重三者版本绑定 | 权重被原地覆盖,回滚时无法恢复 |
七、上线验证
7.1 验证清单
| 类别 | 验证项 | 方法 | 通过标准 |
|---|---|---|---|
| 基础 | 就绪与存活探针 | 查看探针状态与副本事件 | 全部副本 Ready,无重启 |
| 功能 | 单轮问答 | 发送典型业务问题 | 结果符合预期,无乱码与截断 |
| 功能 | 多轮对话 | 连续追问,引用前文信息 | 上下文保持正确 |
| 功能 | 长文本 | 输入接近上下文上限的文本 | 正常返回或按策略截断,不报错 |
| 功能 | 流式输出 | 开启流式请求 | 首字延迟在目标范围内,输出完整 |
| 功能 | 异常输入 | 空输入、超长输入、特殊字符 | 返回明确错误码,服务不崩溃 |
| 性能 | 并发压测 | 阶梯加压(如 5/10/20/40 并发) | 无错误;P95 延迟与吞吐达到容量假设 |
| 性能 | 峰值显存 | 压测期间采集显存曲线 | 峰值低于单卡显存的 85%~90% |
| 质量 | 评测集回归 | 跑上线前基线评测集 | 与基线一致;量化版本无明显下降 |
| 安全 | 鉴权与脱敏 | 无凭据访问、越权访问、敏感字段检查 | 未授权请求被拒绝,日志无明文密钥与敏感信息 |
| 可观测 | 指标与告警 | 触发一次模拟异常 | 告警按预期送达值班人 |
| 回滚 | 回滚演练 | 在测试环境执行一次完整回滚 | 恢复时间在约定范围内 |
7.2 压测注意事项
- 压测流量在生产环境发起时,需提前与网关、业务方约定;
- 压测请求应带独立标识,便于在日志与指标中区分;
- 压测时长要覆盖一个完整的生成过程,短请求测不出真实尾延迟。
八、常见问题与排查
| 现象 | 可能原因 | 排查与处理 |
|---|---|---|
| 服务启动即退出 | 驱动与运行时版本不匹配;权限不足;配置文件解析失败;端口被占用 | 查看启动日志首条错误;核对驱动版本与镜像要求;检查挂载与端口 |
| 模型加载慢或反复重启 | 每次启动都从远端拉取权重;内存不足;探针过早判定失败 | 使用本地权重缓存;适当放宽启动探针的初始延迟 |
| OOM 或显存不足 | 并发过大;上下文长度过长;批参数激进;显存碎片 | 下调并发与批参数;量化;多卡并行;重启释放碎片 |
| 首个请求特别慢 | 未预热;权重未驻留内存 | 启动后执行预热请求;保持常驻副本 |
| 吞吐低于预期 | 批处理未生效;分词与前后处理成为瓶颈;副本数不足 | 检查批处理配置;将 CPU 密集操作异步化;增加副本 |
| 尾延迟(P99)偏高 | 长请求阻塞队列;日志同步刷盘;缓存未命中 | 按请求长度分级路由;日志异步化;对相同前缀启用缓存复用 |
| 网关返回 502/504 | 后端未就绪;超时过短;副本被限流终止 | 检查探针与就绪状态;放宽超时;调整资源限制 |
| 流式输出中断 | 中间代理缓冲;超时过短 | 关闭代理缓冲;放宽超时;确认编码与分块传输配置 |
| 输出质量下降 | 量化精度;采样参数变更;模板变更 | 对比基线评测;回退参数;确认提示词模板一致 |
| 托管服务报限流或配额错误 | 账户配额上限;瞬时并发过高 | 申请提升配额;客户端加退避重试;高峰请求进入本地队列 |
| 费用异常增长 | 副本长期高水位;长上下文请求多;缺少缓存 | 按利用率缩容;限制最大输入长度;缓存高频结果 |
排查通用方法:
- 定位层级:先看网关错误码,再分别看推理服务日志与资源指标,避免一上来就重启服务;
- 对比变量:与上一稳定版本对比镜像、配置、权重版本,优先回退最近变更;
- 量化复现:用固定输入与固定参数复现问题,排除采样随机性带来的干扰。
九、运维与优化
9.1 稳定性保障
- 多副本加反亲和调度,结合就绪探针摘除异常副本;
- 网关侧配置熔断与降级,例如自建服务过载时,将非敏感请求降级到小参数模型或托管服务;
- 定期演练故障恢复:重启副本、摘除节点、模拟加速卡异常,验证自愈流程。
9.2 安全控制
- 网关统一鉴权,推理服务不直接暴露公网;
- 密钥集中托管、定期轮换,按最小权限下发;
- 传输与静态加密,敏感数据脱敏后再进入日志;
- 保留调用审计记录,满足追溯要求。
9.3 性能优化
- 量化、批处理调优、多卡并行;
- 对相同前缀的请求启用缓存复用,减少重复计算;
- 异步化非实时任务,如批量文档处理、离线摘要;
- 按请求复杂度分级路由,简单请求交给小模型,降低整体成本。
9.4 弹性扩展
- 以”排队数、并发数、显存使用率”作为扩缩容依据,比单纯看 CPU 使用率更贴近推理负载;
- 设置最小副本数,保证突发流量的基础承载;
- 扩容前确认加速卡库存与配额,避免扩容请求排队。
9.5 成本控制
- 按波峰配置峰值容量,按波谷缩容;
- 非关键任务可使用竞价类实例,但必须能容忍中断;
- 对象存储设置生命周期策略,自动清理过期日志与临时文件;
- 对托管调用设置预算告警,按调用方拆分用量。
9.6 可维护性
- 版本化管理:镜像、配置、权重三者版本一一对应;
- 定期回归评测,模型更新或参数调整后执行同一套评测集;
- 维护部署手册与值班手册,明确每类告警的处理路径。
十、总结
大模型服务部署的关键,是先回答”部署什么、部署到哪里、要准备什么”,再回答”怎么上线、怎么验证、怎么运维”。
- 路线选择:开源权重自建适合数据敏感、负载稳定、需要深度定制的场景;托管接入适合快速验证、人力有限、负载波动的场景。多数业务最终会走向混合部署;
- 部署准备:资源规划先于部署。显存、吞吐与副本数的估算结果,决定后续全部配置;
- 上线质量:上线不是部署的终点。灰度切流、分层验证与回滚预案,决定上线过程是否可控;
- 持续运维:运维重点是监控告警、弹性伸缩与成本控制。
若在百度智能云上部署,可以结合通用云服务器、容器平台、对象存储、日志服务与监控告警等能力搭建上述架构;采用托管模型服务时,则重点做好网关治理、超时重试与用量管理。

登录后可评论,请前往 登录 或 注册