国产大模型推理服务云上部署全流程详解
作者:carzy2026.11.18 11:37浏览量:0简介:算力供给受外部政策影响、型号可替换,部署侧应做到“资源可替换、流程可复现、性能可评估、上线可回滚”。本文以大模型推理服务为对象,讲清部署目标、资源规划、前置准备、部署步骤、配置要点、上线验证与排查方法。读者可据此完成从环境准备到上线运维的全过程,并形成可复用的部署清单。
一、部署概述:部署什么,要达到什么效果
1.1 部署对象
本文的部署对象是一套面向业务的大模型推理服务。它由四层组成:
- 推理服务实例:加载模型权重,对外提供文本生成、对话问答或摘要等推理接口。
- 访问入口层:包括负载均衡、域名与证书、反向代理或API网关,负责流量分发、接入认证与限流。
- 数据与存储依赖:用于存放模型权重、配置文件和对话缓存。
- 观测体系:日志、指标监控与告警,用来判断服务是否正常。
部署完成后应达到以下效果:
- 业务侧可以通过稳定的HTTP接口调用推理能力;
- 服务在单机故障或流量突增时仍能保持可用;
- 每一次推理调用的时延、吞吐和资源消耗都可测量;
- 出现异常时能够快速定位,并回滚到上一稳定版本。
1.2 背景:算力供给的不确定性,正在改变部署思路
近期,围绕AI加速卡出口政策出现了新的讨论。
一方面,有报道称美国已批准部分型号AI加速卡销往中国市场。另一方面,某人工智能研究机构向美国相关主管部门提交的政策文件中,提出了以下主张:
- 限制对华出口高性能AI芯片及芯片制造设备;
- 打击芯片走私及绕道获取芯片的行为;
- 收紧算力出口管制,并对部分模型权重加以限制。
该机构还公开指控有中国实验室通过大规模蒸馏提取某闭源大模型的能力。相关指控是否成立、涉及范围多大,仍需以证据判断,也不应一概而论地指向所有中国模型。此外,该机构呼吁对西方制造的GPU增加硬件或固件层面的限制,阻止其运行所谓未经批准的中国开源模型,这一点与芯片厂商负责人的公开表态形成分歧。
这些主张目前大多停留在政策讨论层面,能否落地、如何执行仍不确定。无论最终结果如何,有一点可以预判:企业可获得的加速卡型号、数量和供给节奏都存在不确定性。这意味着基于单一卡型、单一供应商和单一部署脚本的传统模式风险较高。
对应到部署层面,应做好四项准备:
- 资源可替换:支持多种卡型;
- 流程可复现:环境以代码方式管理;
- 性能可评估:上线前有统一的基准测试;
- 上线可回滚:版本切换可控。
也就是说,对芯片出口政策的讨论,本质上是对“算力供应链风险”的讨论;部署侧的应对方式,是把这种风险转化为可管理的工程问题。本文围绕这四项准备展开。
1.3 适用读者与部署环境
适用读者:
- 负责上线大模型应用的开发者;
- 负责环境与资源交付的运维工程师;
- 负责整体方案设计的架构师;
- 负责资源预算与技术选型的团队负责人。
部署环境:本文讨论云服务器、容器化部署和托管推理环境三类通用方式。文中的配置项和代码均为通用示意,不同平台的具体参数以其官方文档为准。
二、部署场景与部署形态选择
2.1 典型场景
| 场景 | 请求特征 | 建议形态 | 优化重点 |
|---|---|---|---|
| 智能客服、对话助手 | 在线同步调用,时延敏感,流量有波峰波谷 | 容器化部署 + 自动伸缩 | 首字响应时延、排队控制 |
| 文档摘要、合同审核 | 输入长、调用集中,可容忍分钟级延迟 | 批量任务或队列驱动的异步推理 | 吞吐、长上下文承载能力 |
| 内容生成、代码辅助 | 输入适中,输出较长 | 容器化部署 + 多副本 | 生成吞吐、并发数 |
| 内部知识库问答 | 依赖检索增强,输入包含外部文档 | 推理服务与检索服务、向量存储分离部署 | 端到端时延、缓存命中 |
2.2 在线推理与批量推理
- 在线推理:请求来了就立刻处理,必须设置超时。资源按峰值配置,或者通过弹性扩容承接高峰。
- 批量推理:先把请求写入消息队列,再由计算节点按批次消费。可以错峰运行,必要时改用按量计费的实例,有利于压降成本。
两者也可混合:高峰时段保障在线调用,低谷时段再跑批量任务。
2.3 三类部署方式对比
| 方式 | 优势 | 限制 | 适用情况 |
|---|---|---|---|
| 云服务器 | 控制力强,可自行选择加速卡型号与运行环境 | 扩缩容依赖额外机制 | 需要定制运行环境或部署多个模型 |
| 容器化部署 | 环境一致、副本扩展快、便于灰度与回滚 | 需要掌握镜像构建与编排知识 | 中大规模在线服务 |
| 托管推理环境 | 省去环境搭建,上线快 | 底层资源与参数可控范围有限 | 验证阶段或流量较小 |
三、架构与组件拆解
3.1 逻辑架构
业务客户端│ HTTPS▼负载均衡 + 域名 + 证书│ 内网转发▼API网关 / 反向代理(认证、限流、路由)│├──────────────┬──────────────┐▼ ▼ ▼推理实例1 推理实例2 ... 推理实例N│ │ │└──────────────┴──────────────┘│┌──────────┬───┴────┬──────────┬──────────┐▼ ▼ ▼ ▼ ▼对象存储 关系型数据库 缓存 日志服务 监控告警(模型权重) (任务与配额) (对话缓存) (指标与告警)
3.2 各组件的作用
| 组件 | 部署中的作用 | 规划要点 |
|---|---|---|
| 计算资源(加速卡实例) | 承载模型推理 | 卡型、显存、CPU与内存配比、可用区分布 |
| 存储资源 | 存放模型权重与配置 | 对象存储保存权重;任务量大时配合共享文件存储加速加载 |
| 网络资源 | 承载外部访问与服务间调用 | 负载均衡、域名、证书、安全组、访问白名单 |
| 数据资源 | 保存任务、配额与对话缓存 | 关系型数据库、缓存、消息队列 |
| 观测资源 | 判断服务是否正常 | 日志、指标、链路追踪、告警通知 |
| 安全资源 | 防止未授权访问与数据泄露 | 身份认证、密钥管理、加密传输、访问控制 |
3.3 与模型能力限制议题的关系
前文提到的政策主张中,还有两项值得技术团队注意:
- 对部分模型权重加以限制;
- 在硬件或固件层增加限制。
落到部署上,这两项都指向模型来源的合规管理与权限隔离。建议在部署清单中固定加入以下检查:
- 模型授权与许可证确认;
- 权重来源可追溯;
- 加载路径与文件完整性校验。
四、前置准备:上线前的七项清单
- 账号与权限:完成实名认证,使用子账号分权,遵循最小权限原则。部署、运维、审计使用不同角色,生产资源的操作权限单独授予。
- 资源与配额:确认加速卡、CPU、内存、带宽、负载均衡和存储的配额是否满足预期规模。资源紧张时提前申请或调整规格。
- 依赖组件:准备好对象存储、关系型数据库、缓存、消息队列和日志服务,并规划好各组件之间的网络连通关系。
- 应用交付物:包括模型权重文件、推理框架及其依赖、启动脚本、配置文件和启动命令。
- 密钥与配置:访问密钥、数据库口令、接口鉴权令牌等敏感信息统一放入密钥管理服务,不写进镜像,也不硬编码在代码里。
- 网络与域名:确定内网还是公网访问、是否需要域名、HTTPS证书如何签发与续期,以及调用方来源IP范围。
- 算力适配评估:按下表评估候选卡型能否满足模型需求。
算力适配评估表(通用方法)
| 评估项 | 评估方法 | 风险 |
|---|---|---|
| 单卡显存 | 权重占用(参数量×精度字节数)+ KV缓存占用 + 框架运行时开销 | 估算偏低会导致加载中途显存溢出 |
| 卡间互联 | 多卡部署时确认卡间通信条件 | 通信条件不足时,推理时延明显上升 |
| 框架支持 | 确认所选推理框架与加速卡、量化方案兼容 | 不兼容会导致无法启动或精度异常 |
| 供给稳定性 | 评估库存、交货周期和配额 | 单一卡型依赖会形成供应链风险 |
4.1 资源规划:显存与算力估算
以13B参数模型为例,显存占用可按以下公式粗算:
单卡权重显存 ≈ 模型参数量 × 每参数字节数FP16:13B × 2 ≈ 26 GBINT8:13B × 1 ≈ 13 GBKV缓存显存 ≈ 2 × 层数 × KV头数 × 每个头的维度 × 上下文长度 × 并发序列数 × 每参数字节数所需显存 ≈ 权重显存 + KV缓存显存 + 运行时开销(通常预留 10%~20%)
这里有个常被忽视的问题:实际承载的并发不止“请求数”一个维度。设单实例可处理N个并发序列、每个序列最多M个token,则上下文总长约为N×M。这部分显存增长很快,长文本场景尤其明显。
算力需求可按下面的公式估算实例数量:
目标QPS = 峰值QPS × (1 + 冗余系数)实例数量 = ceil(目标QPS / 单实例实测QPS)
峰值系数通常取1.5~2,也可根据业务曲线调整。以日调用量1000万次、峰值集中在4小时计算,峰值QPS约为:
1000万 ÷ 4 ÷ 3600 × 2 ≈ 1390 QPS
具体实例数量取决于实测出的单实例QPS。单实例QPS必须在上线前用基准压测实测得出,不能照搬其他项目的数据。
4.2 环境一致性:三类环境的差异
| 维度 | 开发环境 | 测试环境 | 生产环境 |
|---|---|---|---|
| 规模 | 单副本、小规模模型 | 与生产同卡型、缩容副本 | 多副本、多可用区 |
| 数据 | 样例数据 | 脱敏样本 | 真实数据 |
| 网络 | 本地或内网 | 内网 + 预发入口 | 公网 + 负载均衡 |
| 密钥 | 测试密钥 | 测试密钥 | 密钥管理服务托管 |
三类环境使用同一份配置模板和同一套依赖版本,仅通过环境变量区分参数。这是避免“测试通过、生产异常”的基本原则。
4.3 卡型可替换设计
面对供给的不确定性,建议从以下四点入手:
- 推理框架版本锁定,依赖清单纳入版本管理;
- 启动参数中的并行度、量化方式、显存利用率等做成配置项,不写死在代码里;
- 镜像同时覆盖主流卡型的运行库与驱动兼容版本;
- 任何卡型变更都须重新跑基准测试,确认时延、吞吐和精度达标后才允许承载生产流量。
五、部署流程:从环境初始化到开放访问
整体顺序:准备环境 → 上传或构建应用 → 配置运行参数 → 启动服务 → 开放访问 → 验证结果。
环境初始化 → 模型与镜像准备 → 创建计算资源 → 配置运行参数→ 启动服务并通过就绪检查 → 接入负载均衡与域名→ 灰度验证 → 全量上线
第一步:环境初始化
- 创建专有网络和子网,划分出用于部署推理实例的子网;
- 配置安全组:仅放通负载均衡到推理实例的服务端口,以及必要的管理端口;
- 初始化密钥管理服务,生成或导入服务访问密钥;
- 开通日志与监控服务,建立指标采集。
作用与注意:安全组是默认拒绝的白名单机制,先收紧再放开,避免实例在部署完成前就暴露在公网。
第二步:上传模型权重与构建镜像
- 将权重文件上传到对象存储,并开启版本控制。
- 校验文件大小和哈希值,防止文件不完整或中途被替换。
- 推理镜像只包含运行环境和启动脚本,模型通过挂载或启动时拉取,不把权重打进镜像。
- 镜像构建完成后推送至镜像仓库,打上有意义的版本标签,例如版本号加构建号。
作用与注意:权重与镜像分离后,更新模型不需要重建镜像,回滚模型版本也不用重新构建。一个百GB级的模型,如果写进镜像,每次发布都要重新拉取,时间成本和网络开销都很高。
第三步:创建计算资源
- 根据显存评估结果选择卡型,单实例可多卡。
- 多可用区部署时,优先选择具备同类卡型资源的可用区。
- 挂载数据盘,用于保存权重缓存或日志,避免写满系统盘。
- 创建自动伸缩组,设置最小、期望、最大实例数。
注意:加速卡资源供给紧张时,先申请配额,再评估是否需要预留实例。
第四步:配置运行参数
运行参数通过环境变量或配置文件注入,主要包括:
| 参数 | 作用 | 风险点 |
|---|---|---|
| 模型路径 | 指向权重加载地址 | 路径错误导致启动失败;无校验可能被替换为未授权模型 |
| 并行度 | 多卡切分方式 | 设置不当会导致单卡显存溢出或通信效率下降 |
| 量化方式 | 用更低精度压缩权重 | 精度损失需业务侧评估,不能只看显存省了多少 |
| 上下文长度 | 单次请求最大输入输出总长 | 设置过大挤占显存;过小导致长文本请求被拒绝 |
| 最大并发序列数 | 单实例同时处理的序列数 | 设置过高导致排队与超时 |
| 显存利用率上限 | 推理框架可用的显存比例 | 留得太少浪费显存;留得太高易触发显存溢出 |
| 服务端口 | 对外提供推理接口的端口 | 与安全组不一致导致连不通 |
| 就绪检查路径 | 负载均衡判断实例是否可接收流量 | 检查项太宽松会把未就绪实例提前挂入 |
| 鉴权令牌 | 接口调用的身份凭证 | 明文写入配置会导致令牌泄露 |
敏感参数不落盘,统一通过密钥管理服务注入。所有参数集中在一处管理,并用版本控制记录变更,方便对比与回退。
第五步:启动服务并等待就绪
- 启动脚本负责从对象存储拉取权重、校验哈希、加载模型。
- 就绪探针在模型完全加载后才返回成功。
- 可用表中的就绪检查逻辑作为参考:
if 模型权重校验失败:记录错误日志返回非零退出码 # 让编排系统感知失败并重建if 模型加载未完成:返回 503 # 暂不接收流量else:返回 200 # 可接收流量
第六步:接入负载均衡、域名与证书
- 创建负载均衡实例,绑定监听端口。
- 配置健康检查:间隔、超时、不健康阈值、健康阈值。
- 绑定域名,签发或上传证书,开启HTTPS。
- 配置访问策略:按来源IP白名单或网关鉴权限制调用方。
- 配置限流:单IP或单用户的请求速率上限。
注意:健康检查阈值不宜过于激进,否则模型加载稍慢就会被反复摘除,导致滚动发布一直卡住。
第七步:灰度验证与全量上线
按 5% → 25% → 50% → 100% 逐步放量。每一步观察错误率、首字时延和显存水位,确认稳定后再进入下一步。任一指标超出阈值就停止放量,并把异常实例摘除。
第八步:保留旧版本,支持回滚
- 新版本以新实例组上线,验证通过后再切换流量。
- 旧实例组保留至少一个发布周期,作为回滚目标。
- 回滚时同时切换镜像版本、配置版本和模型版本,三者必须对应。
- 模型权重开启版本控制,可以直接回退到历史版本。
六、配置说明与通用示例
6.1 通用推理服务配置示例
# 示意配置,非任何平台专有格式,实际参数以所选框架与平台文档为准service:host: 0.0.0.0port: 8080# 接口鉴权由网关层完成,服务本身不暴露公网auth_mode: gateway_onlymodel:# 权重存放于对象存储,启动时拉取到本地缓存目录source: object_storagecache_dir: /data/model_cacheprecision: fp16 # 可选 fp16 / int8,视卡型与精度要求quantize: nonemax_context_length: 8192 # 输入+输出总长度上限engine:parallel_mode: tensor # 多卡并行方式,单卡时为 noneparallel_size: 2gpu_memory_utilization: 0.85max_num_seqs: 64 # 单实例最大并发序列数max_num_batched_tokens: 16384runtime:workers: 1request_timeout_seconds: 60log_level: infometrics_enabled: true
6.2 启动与就绪判断伪代码
步骤1 从对象存储下载模型权重到本地缓存目录步骤2 校验权重哈希;失败则退出,等待重建步骤3 加载配置,解析并行度、显存利用率等参数步骤4 初始化推理引擎,按配置的精度与并行方式加载权重步骤5 启动HTTP服务,监听配置端口步骤6 就绪探针在模型加载完成后返回成功;加载中返回未就绪步骤7 就绪后开始接收流量,并向监控上报实例状态
6.3 环境变量管理
不同环境使用同一套配置模板,差异通过环境变量注入:
MODEL_VERSION 模型版本号,指向对象存储中的权重目录PRECISION 精度设置,例如 fp16 或 int8PARALLEL_SIZE 并行卡数MAX_CONTEXT_LENGTH 上下文长度上限MAX_NUM_SEQS 最大并发序列数LOG_LEVEL 日志级别
发布系统为每次上线记录这些变量的取值,便于出问题时快速定位。
6.4 灰度分流示意
if 请求携带灰度标记:路由至新版实例组else:按比例分流(例如5%)if 新版错误率 > 阈值 或 首字时延 > 阈值:全部切回旧版,并通知值班人员
七、上线验证:如何判断部署成功
7.1 验证清单
| 验证项 | 方法 | 通过标准 |
|---|---|---|
| 实例状态 | 查看实例与就绪状态 | 全部实例就绪,无反复重启 |
| 接口连通性 | 通过负载均衡地址发起调用 | 返回正常结果 |
| 响应时延 | 压测统计首字时延与整体时延 | 达到预先设定的SLO |
| 并发能力 | 阶梯加压至目标QPS | 无排队堆积、无超时激增 |
| 资源水位 | 观察加速卡利用率与显存占用 | 显存水位留有余量,利用率未长期打满 |
| 日志 | 检查错误日志与堆栈 | 无异常堆栈或启动告警 |
| 告警链路 | 人为触发一次错误 | 告警能送达值班人 |
| 回滚演练 | 在预发环境执行一次回滚 | 流量切回旧版后服务正常 |
7.2 基准压测方法
- 准备代表性请求集:按真实业务分布采样,覆盖短输入、长输入和不同输出长度。
- 逐级加压:从目标QPS的20%开始,逐级提升到100%、150%,直到错误率或时延越过阈值。
- 记录指标:首字时延、整体时延、吞吐、显存水位、错误率。
- 形成报告:作为该卡型加该配置的“基线数据”。后续更换卡型、升级框架或调整参数,都与这份基线对比。
7.3 上线准入条件
同时满足以下条件才允许进入生产:
- 健康检查全部通过;
- 灰度阶段错误率低于阈值;
- 首字时延与整体时延符合SLO;
- 无高危告警未处理;
- 回滚方案已验证。
八、常见问题与排查思路
排查遵循通用顺序:先看监控,再看日志,最后复现。
| 问题现象 | 可能原因 | 排查与处理 |
|---|---|---|
| 实例反复重启 | 显存不足、权重校验失败、依赖缺失 | 查看退出码与错误日志,降低并发或上下文长度,必要时改用量化 |
| 加载时间过长 | 权重文件大、网络带宽不足、对象存储读取慢 | 改用共享存储或多线程下载,提前预热缓存 |
| 负载均衡摘除实例 | 就绪检查失败或超时阈值过小 | 放宽健康检查阈值,确认端口与安全组配置一致 |
| 响应超时 | 并发超过单实例处理能力、请求过长 | 限流、扩容,或启用排队与异步化 |
| 输出质量异常 | 量化精度损失、上下文截断 | 对比基线,调整精度设置与上下文长度 |
| 显存持续增长 | 长序列未及时释放、缓存未清理 | 设置最大并发与空闲回收策略,定期滚动重启 |
| 部署后无法访问 | 安全组未放通端口、域名未解析、证书无效 | 逐项核对网络链路与证书链 |
| 多卡时延异常 | 卡间通信条件不足或拓扑不合理 | 改用单机多卡或减少并行度,对比基线 |
| 新卡型上线后吞吐下降 | 框架未适配或并行配置不当 | 对照基线重新压测,调整框架版本与参数 |
| 镜像体积过大 | 权重打进镜像 | 改为挂载或运行时拉取 |
排查时建议在实例上直接调用就绪检查与推理接口,区分“实例问题”还是“入口链路问题”。
九、运维与优化
9.1 稳定性
- 多可用区部署,避免单点故障;
- 配置自动重启与故障隔离,异常实例及时摘除;
- 设置超时、重试与限流,重试要带退避,避免雪崩;
- 定期演练回滚与容灾切换。
9.2 安全性
- 推理接口默认不暴露公网,必须经网关或负载均衡访问;
- 全链路启用HTTPS,敏感参数走密钥管理服务;
- 调用方身份认证与权限最小化;
- 对输入输出做审计日志,注意脱敏,避免敏感数据落盘;
- 模型权重校验完整性与来源合法性。
9.3 性能
- 合理设置并发序列数与批处理大小,提高吞吐;
- 热点对话结果可缓存复用,但要注意缓存失效;
- 长输入提前截断或分段处理;
- 静态资源与文档内容分发加速;
- 数据库连接池合理配置,避免连接耗尽。
9.4 扩展性
- 水平扩展为主:增加副本比纵向扩容更可控;
- 自动伸缩策略结合QPS和显存水位双指标;
- 大流量场景可前置消息队列削峰;
- 多模型场景按模型分组部署,避免相互影响。
9.5 成本控制
- 按量实例与预留实例结合,稳定负载用预留,峰谷用弹性;
- 闲时自动缩容,避免长期空跑;
- 权重文件设置存储生命周期,旧版本归档或清理;
- 日志分级存储,冷数据转低频;
- 定期开展资源盘点,识别低效实例。
9.6 可维护性
- 配置与代码分离,全部纳入版本管理;
- 部署过程脚本化,避免手工操作差异;
- 建立变更记录,每次发布记录镜像、配置、模型三者版本;
- 关键操作留存审计日志,便于追溯。
十、总结
本文围绕大模型推理服务的云上部署,说明了以下内容:
- 明确目标:部署对象是在线推理服务,目标是可调用、可观测、可回滚。
- 规划资源:先用公式估算显存和实例数量,再用基准压测校准。
- 准备清单:权限、配额、依赖、交付物、密钥、网络、算力适配七项缺一不可。
- 分步部署:环境初始化 → 权重与镜像准备 → 创建资源 → 配置参数 → 启动就绪 → 接入入口 → 灰度放量。
- 验证上线:以接口、时延、吞吐、显存、日志和告警六类指标作为准入条件。
- 排查运维:按“监控—日志—复现”的顺序定位问题,从稳定性、安全、性能、扩展、成本、可维护六个维度持续优化。
回到本文的起点,加速卡出口政策的走向仍存在不确定性。对企业而言,与其等待供给明朗,不如把部署体系做成“卡型无关、配置外置、基线可比、回滚可控”。这样无论未来使用哪一类加速卡、哪一类模型,都能以较短的周期完成验证并上线,把外部供给波动带来的影响降到最低。
在百度智能云上,可以结合GPU云服务器、容器服务、对象存储、负载均衡和监控告警等产品完成上述部署,具体参数以官方文档为准。

登录后可评论,请前往 登录 或 注册