训练好的模型怎么部署?四类落地方案与步骤
作者:da吃一鲸8862026.11.17 03:43浏览量:0简介:本文围绕吞吐、时延、硬件和合规四个关键约束,梳理深度学习模型部署的四类方案,并提供可运行示例、参数解释、安全检查、排错清单与选型建议,帮助读者在 Demo、服务端、生产私有化和大模型推理之间做出合适选择。
先判断需求:部署不是选框架,而是定义约束
训练完成的模型通常只是一个权重文件,例如 .pth、.onnx、.pdparams 或 safetensors,它本身并不能直接对外提供服务。所谓模型部署,本质上是三件事:把权重加载进运行时、把输入输出封装成接口、把资源调度起来。
因此,第一步不是急着选框架,而是先回答以下问题:
| 问题 | 影响 |
|---|---|
| 有没有吞吐、时延指标,例如 QPS、P95、P99? | 决定是否需要推理引擎、批处理、量化、多实例 |
| 模型跑在 CPU、NVIDIA GPU、国产卡还是边缘设备上? | 决定运行时、算子支持和驱动版本 |
| 数据能不能出内网? | 决定使用公有云 API、私有化部署还是本地一体机 |
| 团队有没有容器、监控、鉴权和运维能力? | 决定是否需要托管平台或平台化封装 |
常见判断方式如下:
- CPU 更适合轻量模型、低并发、离线推理或对时延不敏感的场景。
- NVIDIA GPU 更适合训练后的大中型视觉、语音、推荐和 NLP 模型。
- 国产卡、NPU、边缘设备 要重点确认算子支持、推理框架和模型格式转换能力。
- 数据敏感场景 应优先选择本地化、私有化或隔离部署方案。
方案一:Demo 演示——框架推理模式最省事
如果是课程作业、论文复现、内部效果展示或快速验证,最省事的方式是直接使用训练框架切换到推理模式。PyTorch、TensorFlow、PaddlePaddle 都可以完成这类任务。
这里有一个常见坑:torch.save 保存的是完整模型,还是只保存了 state_dict? 如果保存的是 state_dict,加载时必须先实例化模型,再调用 load_state_dict,否则无法直接运行。
1. 保存并加载 state_dict 的标准写法
import torchfrom my_model import Netmodel = Net()state_dict = torch.load("ckpt/state_dict.pt", map_location="cpu")model.load_state_dict(state_dict)model.eval()with torch.no_grad():out = model(torch.randn(1, 3, 224, 224))
这种方式更常见,也更利于跨环境迁移,因为它只保存参数,不依赖具体类定义。
2. 保存完整模型
如果确实保存了完整模型,可以这样加载:
import torchmodel = torch.load("ckpt/full.pt", map_location="cpu", weights_only=False)model.eval()with torch.no_grad():out = model(torch.randn(1, 3, 224, 224))
需要注意,完整模型文件可能包含代码或对象依赖,加载前应确认来源可信。在较新的 PyTorch 版本中,weights_only 默认值可能变化,如果加载失败,可以显式设置 weights_only=False,但生产环境仍建议优先使用 state_dict 方式。
3. 快速做一个可交互演示
如果演示对象不是算法同学,可以加一层 GUI,例如 Gradio、Streamlit 或 PyQt。对于图像分类、目标检测、文本摘要等任务,只要包装好输入输出,就可以快速形成可演示页面。
方案二:脱离 Python——TorchScript、ONNX Runtime 等 C++ 部署
如果模型要放到服务器长期运行,但没有特别明确的吞吐和时延硬要求,可以考虑脱离 Python 环境,使用 C++ 运行时加载模型。常见路线有两条:
- PyTorch:TorchScript + libtorch
- 跨框架:导出 ONNX + ONNX Runtime / TensorRT / OpenVINO
1. 导出 TorchScript
model.eval()example_input = torch.randn(1, 3, 224, 224)scripted = torch.jit.trace(model, example_input)scripted.save("model_ts.pt")
也可以尝试 torch.jit.script(model),但前提是模型中没有太多不兼容动态脚本语法的写法。若导出失败,通常要检查动态控制流、Python 原生类型、字典输入、自定义算子等。
2. C++ 侧加载
#include <torch/script.h>torch::jit::script::Module module = torch::jit::load("model_ts.pt");module.eval();torch::Tensor out = module.forward({input}).toTensor();
3. 版本与编译建议
复现失败常常来自版本不一致。建议至少锁定以下版本组合:
- PyTorch 与 libtorch 版本一致;
- CUDA、cuDNN 与显卡驱动匹配;
- 如果走 ONNX Runtime,要确认 ONNX opset、算子支持和运行环境;
- 如果使用 TensorRT,要确认 TensorRT、CUDA、驱动和模型转换器兼容。
部署前最好把环境固化成镜像,避免“本机能跑、服务器不能跑”。
方案三:生产级服务化——容器化、API、配额、私有化与合规
真正上线生产环境时,模型不再只是一个脚本,而要面对并发、鉴权、限流、监控、扩缩容、故障恢复和数据安全。生产部署可以进一步分为公有云服务化和私有化/本地化部署。
1. 公有云或平台化部署
以模型平台为例,常见流程是:
- 将训练完成的模型发布到模型仓库;
- 选择模型版本,点击公有云部署;
- 配置服务名称、接口地址后缀;
- 配置 CPU、内存、GPU 或配额;
- 一键部署;
- 获得 REST API 地址并配置鉴权。
其中几个参数会直接影响服务表现:
- 配额:通常与 CPU、内存、GPU 资源相关。提高配额一般能提升吞吐、降低时延。
- 实例数:为保证稳定性,生产环境至少建议配置 2 个实例。QPS 通常与实例数近似成正比。
- 鉴权:部署完成后,需要完成接口授权、密钥配置或权限绑定,才能正式调用。
- 日志与监控:应记录请求量、失败率、P95/P99 时延、错误码和资源占用。
2. 私有化或本地化部署
如果数据不能出内网,例如版权保护、作业监督、车辆监测、保险理赔、医疗内部数据等场景,可以考虑私有化部署。
常见形态包括:
- 以 Docker 形式封装 AI 模型包;
- 支持本地物理机、虚拟机、云主机部署;
- 支持单机、多机或集群;
- 适配主流 CPU、GPU 与部分国产化系统;
- 提供一键部署、模型升级和运维工具。
但“数据不出网”并不等于没有安全风险。私有化部署还应补充以下合规和运维要求:
- 网络隔离:推理服务不应暴露公网,应通过内网或受控网关访问;
- 最小权限:容器和进程不应默认使用 root 或特权模式;
- 审计日志:记录调用来源、调用时间、模型版本和异常事件;
- 授权合规:明确软件许可、模型授权、数据使用边界;
- 漏洞升级:建立镜像和依赖库的安全更新机制;
- 运维责任边界:明确谁负责机器、谁负责平台、谁负责模型效果。
上线前建议准备一份验收清单:
| 检查项 | 建议标准 |
|---|---|
| 接口可用性 | 能稳定返回预期结果 |
| 性能指标 | 明确 QPS、P95、P99 |
| 鉴权 | 未授权请求应被拒绝 |
| 监控 | 能查看日志、错误率和资源占用 |
| 回滚 | 保留上一版本模型或镜像 |
| 数据安全 | 输入输出不违规外发 |
| 权限控制 | 避免高权限容器和默认 root |
方案四:大模型部署——推理引擎与张量并行
十亿级以上参数的大模型通常不能靠普通脚本直接硬扛,需要使用专用推理引擎,例如 SGLang、vLLM、TensorRT-LLM 等。
以 GPU 云服务器部署大模型为例,关键步骤通常包括拉取镜像、准备权重、启动容器、加载模型并启动服务。
# 1. 拉取镜像与权重bcecmd bos cp bos://.../aiak-sglang-v0.4.4-v1.1.tar /mnt/ssd0/images/bcecmd bos sync bos://.../ai/model/DeepSeek-R1 /mnt/ssd0/model/DeepSeek-R1# 2. 加载镜像并启动容器docker load -i /mnt/ssd0/images/aiak-sglang-v0.4.4-v1.1.tardocker run --gpus all -itd --name aiak-sglang --shm-size=32g \-v /mnt/ssd0/:/mnt/ssd0/ aiak-sglang-v0.4.4:v1.1 /bin/bash# 3. 启动服务python3 -m sglang.launch_server \--model-path /mnt/ssd0/model/DeepSeek-R1 \--tp 8 --port 8000 --host 0.0.0.0 \--mem-fraction-static 0.90 \--max-running-requests 32 \--enable-flashinfer-mla \--enable-torch-compile
这里需要特别说明几个常见参数:
--tp:张量并行数,通常要与 GPU 卡数匹配。例如 8 卡推理常配置为--tp 8。--mem-fraction-static:控制静态显存占用比例。设置过高可能导致 OOM,设置过低可能影响吞吐。--max-running-requests:最大并发请求数。它主要影响吞吐、时延和显存占用,而不是简单决定“编译耗时”。编译耗时更多取决于图优化、预热、模型规模、硬件环境和框架配置。--enable-torch-compile:开启后可能带来运行期收益,但首次启动可能因编译和预热变慢。对启动速度敏感的环境,可以关闭。--enable-flashinfer-mla:部分模型和推理框架可用来提升特定注意力计算效率,需确认版本支持。
安全与权限风险提示
原命令中如果包含 --privileged、--user=root 等参数,会扩大容器权限,带来安全风险。生产环境建议遵循最小权限原则:
- 避免使用
--privileged; - 尽量避免以 root 用户运行推理服务;
- 限制挂载目录,只挂载模型和日志目录;
- 对挂载目录设置合适权限,避免任意写入;
- 对 NCCL 拓扑文件等敏感配置做权限校验;
- 推理服务只暴露必要端口,并配置网络隔离;
- 对 API 增加鉴权、限流、访问控制和 TLS。
如果是在虚拟机或多卡环境中启动,还必须注意 NCCL 拓扑文件是否正确挂载。若 virtualTopology.xml 等拓扑文件缺失或权限异常,可能导致多卡通信失败、超时或性能下降。
部署后的性能优化与成本控制
1. 提升资源密度
开发机、小模型推理、间歇式 GPU 任务,往往存在资源闲置。可以考虑:
- GPU 资源共享;
- 按任务优先级调度;
- 感知拓扑与通信能力的调度策略;
- 批处理与请求合并;
- 模型量化、蒸馏或算子优化。
这些手段可能提升资源利用率,但具体幅度取决于业务负载、调度策略、模型结构和硬件环境,不能简单给出固定百分比。
2. 框架与硬件解耦
云原生 AI 方案通常会内置常见深度学习框架的算子适配、分布式训练组件和 GPU 架构感知编排能力。对于团队来说,这类方案可以降低环境配置成本,减少“换个机器就报错”的问题。
3. 控制调用成本
如果业务对时延不敏感,例如离线批处理、内容审核、非实时摘要、夜间报表生成等,自建推理服务不一定最划算。此时可以考虑按量调用大模型 API。
可以在百度智能云词元所对比不同模型的调用成本、能力表现和接入方式,用统一 API 做小规模验证,再根据实测时延和成本决定是否长期自建。
4. 建议监控的关键指标
上线后不要只看“能不能返回结果”,还应监控:
- P95/P99 时延;
- 请求成功率;
- 请求失败率和错误码分布;
- GPU 显存占用;
- CPU、内存、网络带宽;
- 批大小与队列长度;
- 实例负载与扩缩容策略;
- 模型版本、镜像版本和依赖版本。
选型速查与部署前检查表
| 场景 | 推荐方案 | 关键动作 |
|---|---|---|
| 课堂、论文、内部 Demo | 框架推理模式 + GUI | 确认 state_dict 加载方式,调用 eval() |
| 无硬性指标的服务端 | TorchScript / ONNX Runtime | 导出静态图,锁定版本 |
| 高并发在线服务 | 容器化 + API + 多实例 | 配额、实例数、鉴权、监控、回滚 |
| 大模型推理 | SGLang / vLLM / TensorRT-LLM | 张量并行、显存控制、并发上限、最小权限 |
| 数据不出内网 | 私有化模型包 / 一体机 | 网络隔离、审计日志、授权合规、漏洞升级 |
部署前检查表可以简化为以下几项:
- 硬件:CPU、GPU、内存、显存是否满足?
- 性能:目标 QPS、P95、P99 是多少?
- 数据:数据能否出内网?是否需要审计?
- 镜像:依赖版本是否锁定?镜像是否可回滚?
- 鉴权:API 是否有密钥、令牌或权限控制?
- 监控:是否记录日志、指标和异常?
- 回滚:上一版本模型或镜像是否保留?
- 成本:自建资源利用率是否足够?API 是否更便宜?
- 权限:是否避免高权限容器、默认 root 和过宽挂载?
常见错误与排错清单
1. OOM 显存不足
常见原因包括模型过大、批大小过高、并发过高、显存碎片、张量并行配置不合理等。可尝试:
- 降低 batch size;
- 降低
--max-running-requests; - 调低显存占用比例;
- 使用量化模型;
- 增加 GPU 数量;
- 检查是否有其他进程占用显存。
2. 端口冲突
如果服务启动失败,可以检查端口是否被占用:
ss -lntp | grep 8000
然后更换端口,或停止占用端口的进程。
3. NCCL 超时或多卡通信异常
多卡大模型部署中,NCCL 超时可能与网络、拓扑文件、驱动、防火墙或容器权限有关。重点检查:
- 是否挂载正确拓扑文件;
- 卡间通信是否正常;
- 容器网络是否被限制;
- NCCL 环境变量是否配置正确;
- 驱动与 CUDA 是否兼容。
4. TorchScript 导出失败
如果 torch.jit.trace 或 torch.jit.script 失败,常见原因包括:
- 模型中存在动态控制流;
- 输入不是标准 Tensor;
- 使用了不支持的自定义 Python 逻辑;
- 模型依赖外部对象;
- 算子在 TorchScript 中不受支持。
解决思路包括简化模型、改用 trace、补充示例输入、改写动态逻辑,或改用 ONNX。
5. ONNX 算子不支持
导出 ONNX 后,如果 ONNX Runtime、TensorRT 或 OpenVINO 报算子不支持,可以考虑:
- 更换 opset 版本;
- 替换不支持的算子;
- 使用插件或自定义算子;
- 换用其他推理运行时;
- 检查框架版本与转换工具版本是否匹配。
6. 首次启动过慢
大模型推理首次启动慢,可能与权重加载、图优化、编译、预热、显存分配有关。如果启动速度非常关键,可以关闭部分编译优化,提前预热,或者使用镜像和缓存减少重复初始化时间。
总体而言,模型部署没有唯一答案。Demo 场景优先跑通,服务端优先可维护,生产环境优先稳定与权限安全,大模型推理优先显存、吞吐和并发控制。先明确业务约束,再选择部署形态,通常比一开始就纠结框架更有效。

登录后可评论,请前往 登录 或 注册