logo

训练好的模型怎么部署?四类落地方案与步骤

作者:da吃一鲸8862026.11.17 03:43浏览量:0

简介:本文围绕吞吐、时延、硬件和合规四个关键约束,梳理深度学习模型部署的四类方案,并提供可运行示例、参数解释、安全检查、排错清单与选型建议,帮助读者在 Demo、服务端、生产私有化和大模型推理之间做出合适选择。

先判断需求:部署不是选框架,而是定义约束

训练完成的模型通常只是一个权重文件,例如 .pth、.onnx、.pdparams 或 safetensors,它本身并不能直接对外提供服务。所谓模型部署,本质上是三件事:把权重加载进运行时、把输入输出封装成接口、把资源调度起来。

因此,第一步不是急着选框架,而是先回答以下问题:

问题 影响
有没有吞吐、时延指标,例如 QPS、P95、P99? 决定是否需要推理引擎、批处理、量化、多实例
模型跑在 CPU、NVIDIA GPU、国产卡还是边缘设备上? 决定运行时、算子支持和驱动版本
数据能不能出内网? 决定使用公有云 API、私有化部署还是本地一体机
团队有没有容器、监控、鉴权和运维能力? 决定是否需要托管平台或平台化封装

常见判断方式如下:

  • CPU 更适合轻量模型、低并发、离线推理或对时延不敏感的场景。
  • NVIDIA GPU 更适合训练后的大中型视觉、语音、推荐和 NLP 模型。
  • 国产卡、NPU、边缘设备 要重点确认算子支持、推理框架和模型格式转换能力。
  • 数据敏感场景 应优先选择本地化、私有化或隔离部署方案。

方案一:Demo 演示——框架推理模式最省事

如果是课程作业、论文复现、内部效果展示或快速验证,最省事的方式是直接使用训练框架切换到推理模式。PyTorch、TensorFlow、PaddlePaddle 都可以完成这类任务。

这里有一个常见坑:torch.save 保存的是完整模型,还是只保存了 state_dict? 如果保存的是 state_dict,加载时必须先实例化模型,再调用 load_state_dict,否则无法直接运行。

1. 保存并加载 state_dict 的标准写法

  1. import torch
  2. from my_model import Net
  3. model = Net()
  4. state_dict = torch.load("ckpt/state_dict.pt", map_location="cpu")
  5. model.load_state_dict(state_dict)
  6. model.eval()
  7. with torch.no_grad():
  8. out = model(torch.randn(1, 3, 224, 224))

这种方式更常见,也更利于跨环境迁移,因为它只保存参数,不依赖具体类定义。

2. 保存完整模型

如果确实保存了完整模型,可以这样加载:

  1. import torch
  2. model = torch.load("ckpt/full.pt", map_location="cpu", weights_only=False)
  3. model.eval()
  4. with torch.no_grad():
  5. out = model(torch.randn(1, 3, 224, 224))

需要注意,完整模型文件可能包含代码或对象依赖,加载前应确认来源可信。在较新的 PyTorch 版本中,weights_only 默认值可能变化,如果加载失败,可以显式设置 weights_only=False,但生产环境仍建议优先使用 state_dict 方式。

3. 快速做一个可交互演示

如果演示对象不是算法同学,可以加一层 GUI,例如 Gradio、Streamlit 或 PyQt。对于图像分类、目标检测、文本摘要等任务,只要包装好输入输出,就可以快速形成可演示页面。

方案二:脱离 Python——TorchScript、ONNX Runtime 等 C++ 部署

如果模型要放到服务器长期运行,但没有特别明确的吞吐和时延硬要求,可以考虑脱离 Python 环境,使用 C++ 运行时加载模型。常见路线有两条:

  1. PyTorch:TorchScript + libtorch
  2. 跨框架:导出 ONNX + ONNX Runtime / TensorRT / OpenVINO

1. 导出 TorchScript

  1. model.eval()
  2. example_input = torch.randn(1, 3, 224, 224)
  3. scripted = torch.jit.trace(model, example_input)
  4. scripted.save("model_ts.pt")

也可以尝试 torch.jit.script(model),但前提是模型中没有太多不兼容动态脚本语法的写法。若导出失败,通常要检查动态控制流、Python 原生类型、字典输入、自定义算子等。

2. C++ 侧加载

  1. #include <torch/script.h>
  2. torch::jit::script::Module module = torch::jit::load("model_ts.pt");
  3. module.eval();
  4. torch::Tensor out = module.forward({input}).toTensor();

3. 版本与编译建议

复现失败常常来自版本不一致。建议至少锁定以下版本组合:

  • PyTorch 与 libtorch 版本一致;
  • CUDA、cuDNN 与显卡驱动匹配;
  • 如果走 ONNX Runtime,要确认 ONNX opset、算子支持和运行环境;
  • 如果使用 TensorRT,要确认 TensorRT、CUDA、驱动和模型转换器兼容。

部署前最好把环境固化成镜像,避免“本机能跑、服务器不能跑”。

方案三:生产级服务化——容器化、API、配额、私有化与合规

真正上线生产环境时,模型不再只是一个脚本,而要面对并发、鉴权、限流、监控、扩缩容、故障恢复和数据安全。生产部署可以进一步分为公有云服务化和私有化/本地化部署。

1. 公有云或平台化部署

以模型平台为例,常见流程是:

  1. 将训练完成的模型发布到模型仓库;
  2. 选择模型版本,点击公有云部署;
  3. 配置服务名称、接口地址后缀;
  4. 配置 CPU、内存、GPU 或配额;
  5. 一键部署;
  6. 获得 REST API 地址并配置鉴权。

其中几个参数会直接影响服务表现:

  • 配额:通常与 CPU、内存、GPU 资源相关。提高配额一般能提升吞吐、降低时延。
  • 实例数:为保证稳定性,生产环境至少建议配置 2 个实例。QPS 通常与实例数近似成正比。
  • 鉴权:部署完成后,需要完成接口授权、密钥配置或权限绑定,才能正式调用。
  • 日志与监控:应记录请求量、失败率、P95/P99 时延、错误码和资源占用。

2. 私有化或本地化部署

如果数据不能出内网,例如版权保护、作业监督、车辆监测、保险理赔、医疗内部数据等场景,可以考虑私有化部署。

常见形态包括:

  • 以 Docker 形式封装 AI 模型包;
  • 支持本地物理机、虚拟机、云主机部署;
  • 支持单机、多机或集群;
  • 适配主流 CPU、GPU 与部分国产化系统;
  • 提供一键部署、模型升级和运维工具。

但“数据不出网”并不等于没有安全风险。私有化部署还应补充以下合规和运维要求:

  • 网络隔离:推理服务不应暴露公网,应通过内网或受控网关访问;
  • 最小权限:容器和进程不应默认使用 root 或特权模式;
  • 审计日志:记录调用来源、调用时间、模型版本和异常事件;
  • 授权合规:明确软件许可、模型授权、数据使用边界;
  • 漏洞升级:建立镜像和依赖库的安全更新机制;
  • 运维责任边界:明确谁负责机器、谁负责平台、谁负责模型效果。

上线前建议准备一份验收清单:

检查项 建议标准
接口可用性 能稳定返回预期结果
性能指标 明确 QPS、P95、P99
鉴权 未授权请求应被拒绝
监控 能查看日志、错误率和资源占用
回滚 保留上一版本模型或镜像
数据安全 输入输出不违规外发
权限控制 避免高权限容器和默认 root

方案四:大模型部署——推理引擎与张量并行

十亿级以上参数的大模型通常不能靠普通脚本直接硬扛,需要使用专用推理引擎,例如 SGLang、vLLM、TensorRT-LLM 等。

以 GPU 云服务器部署大模型为例,关键步骤通常包括拉取镜像、准备权重、启动容器、加载模型并启动服务。

  1. # 1. 拉取镜像与权重
  2. bcecmd bos cp bos://.../aiak-sglang-v0.4.4-v1.1.tar /mnt/ssd0/images/
  3. bcecmd bos sync bos://.../ai/model/DeepSeek-R1 /mnt/ssd0/model/DeepSeek-R1
  4. # 2. 加载镜像并启动容器
  5. docker load -i /mnt/ssd0/images/aiak-sglang-v0.4.4-v1.1.tar
  6. docker run --gpus all -itd --name aiak-sglang --shm-size=32g \
  7. -v /mnt/ssd0/:/mnt/ssd0/ aiak-sglang-v0.4.4:v1.1 /bin/bash
  8. # 3. 启动服务
  9. python3 -m sglang.launch_server \
  10. --model-path /mnt/ssd0/model/DeepSeek-R1 \
  11. --tp 8 --port 8000 --host 0.0.0.0 \
  12. --mem-fraction-static 0.90 \
  13. --max-running-requests 32 \
  14. --enable-flashinfer-mla \
  15. --enable-torch-compile

这里需要特别说明几个常见参数:

  • --tp:张量并行数,通常要与 GPU 卡数匹配。例如 8 卡推理常配置为 --tp 8。
  • --mem-fraction-static:控制静态显存占用比例。设置过高可能导致 OOM,设置过低可能影响吞吐。
  • --max-running-requests:最大并发请求数。它主要影响吞吐、时延和显存占用,而不是简单决定“编译耗时”。编译耗时更多取决于图优化、预热、模型规模、硬件环境和框架配置。
  • --enable-torch-compile:开启后可能带来运行期收益,但首次启动可能因编译和预热变慢。对启动速度敏感的环境,可以关闭。
  • --enable-flashinfer-mla:部分模型和推理框架可用来提升特定注意力计算效率,需确认版本支持。

安全与权限风险提示

原命令中如果包含 --privileged、--user=root 等参数,会扩大容器权限,带来安全风险。生产环境建议遵循最小权限原则:

  • 避免使用 --privileged;
  • 尽量避免以 root 用户运行推理服务;
  • 限制挂载目录,只挂载模型和日志目录;
  • 对挂载目录设置合适权限,避免任意写入;
  • 对 NCCL 拓扑文件等敏感配置做权限校验;
  • 推理服务只暴露必要端口,并配置网络隔离;
  • 对 API 增加鉴权、限流、访问控制和 TLS。

如果是在虚拟机或多卡环境中启动,还必须注意 NCCL 拓扑文件是否正确挂载。若 virtualTopology.xml 等拓扑文件缺失或权限异常,可能导致多卡通信失败、超时或性能下降。

部署后的性能优化与成本控制

1. 提升资源密度

开发机、小模型推理、间歇式 GPU 任务,往往存在资源闲置。可以考虑:

  • GPU 资源共享;
  • 按任务优先级调度;
  • 感知拓扑与通信能力的调度策略;
  • 批处理与请求合并;
  • 模型量化、蒸馏或算子优化。

这些手段可能提升资源利用率,但具体幅度取决于业务负载、调度策略、模型结构和硬件环境,不能简单给出固定百分比。

2. 框架与硬件解耦

云原生 AI 方案通常会内置常见深度学习框架的算子适配、分布式训练组件和 GPU 架构感知编排能力。对于团队来说,这类方案可以降低环境配置成本,减少“换个机器就报错”的问题。

3. 控制调用成本

如果业务对时延不敏感,例如离线批处理、内容审核、非实时摘要、夜间报表生成等,自建推理服务不一定最划算。此时可以考虑按量调用大模型 API。

可以在百度智能云词元所对比不同模型的调用成本、能力表现和接入方式,用统一 API 做小规模验证,再根据实测时延和成本决定是否长期自建。

4. 建议监控的关键指标

上线后不要只看“能不能返回结果”,还应监控:

  • P95/P99 时延;
  • 请求成功率;
  • 请求失败率和错误码分布;
  • GPU 显存占用;
  • CPU、内存、网络带宽;
  • 批大小与队列长度;
  • 实例负载与扩缩容策略;
  • 模型版本、镜像版本和依赖版本。

选型速查与部署前检查表

场景 推荐方案 关键动作
课堂、论文、内部 Demo 框架推理模式 + GUI 确认 state_dict 加载方式,调用 eval()
无硬性指标的服务端 TorchScript / ONNX Runtime 导出静态图,锁定版本
高并发在线服务 容器化 + API + 多实例 配额、实例数、鉴权、监控、回滚
大模型推理 SGLang / vLLM / TensorRT-LLM 张量并行、显存控制、并发上限、最小权限
数据不出内网 私有化模型包 / 一体机 网络隔离、审计日志、授权合规、漏洞升级

部署前检查表可以简化为以下几项:

  1. 硬件:CPU、GPU、内存、显存是否满足?
  2. 性能:目标 QPS、P95、P99 是多少?
  3. 数据:数据能否出内网?是否需要审计?
  4. 镜像:依赖版本是否锁定?镜像是否可回滚?
  5. 鉴权:API 是否有密钥、令牌或权限控制?
  6. 监控:是否记录日志、指标和异常?
  7. 回滚:上一版本模型或镜像是否保留?
  8. 成本:自建资源利用率是否足够?API 是否更便宜?
  9. 权限:是否避免高权限容器、默认 root 和过宽挂载?

常见错误与排错清单

1. OOM 显存不足

常见原因包括模型过大、批大小过高、并发过高、显存碎片、张量并行配置不合理等。可尝试:

  • 降低 batch size;
  • 降低 --max-running-requests;
  • 调低显存占用比例;
  • 使用量化模型;
  • 增加 GPU 数量;
  • 检查是否有其他进程占用显存。

2. 端口冲突

如果服务启动失败,可以检查端口是否被占用:

  1. ss -lntp | grep 8000

然后更换端口,或停止占用端口的进程。

3. NCCL 超时或多卡通信异常

多卡大模型部署中,NCCL 超时可能与网络、拓扑文件、驱动、防火墙或容器权限有关。重点检查:

  • 是否挂载正确拓扑文件;
  • 卡间通信是否正常;
  • 容器网络是否被限制;
  • NCCL 环境变量是否配置正确;
  • 驱动与 CUDA 是否兼容。

4. TorchScript 导出失败

如果 torch.jit.trace 或 torch.jit.script 失败,常见原因包括:

  • 模型中存在动态控制流;
  • 输入不是标准 Tensor;
  • 使用了不支持的自定义 Python 逻辑;
  • 模型依赖外部对象;
  • 算子在 TorchScript 中不受支持。

解决思路包括简化模型、改用 trace、补充示例输入、改写动态逻辑,或改用 ONNX。

5. ONNX 算子不支持

导出 ONNX 后,如果 ONNX Runtime、TensorRT 或 OpenVINO 报算子不支持,可以考虑:

  • 更换 opset 版本;
  • 替换不支持的算子;
  • 使用插件或自定义算子;
  • 换用其他推理运行时;
  • 检查框架版本与转换工具版本是否匹配。

6. 首次启动过慢

大模型推理首次启动慢,可能与权重加载、图优化、编译、预热、显存分配有关。如果启动速度非常关键,可以关闭部分编译优化,提前预热,或者使用镜像和缓存减少重复初始化时间。

总体而言,模型部署没有唯一答案。Demo 场景优先跑通,服务端优先可维护,生产环境优先稳定与权限安全,大模型推理优先显存、吞吐和并发控制。先明确业务约束,再选择部署形态,通常比一开始就纠结框架更有效。

发表评论

活动