国产算力上大模型推理:从资源估算到安全上线
作者:php是最好的2026.11.18 12:14浏览量:0简介:本文面向需要在国产CPU与AI加速卡上线大模型推理服务的团队,给出显存与KV Cache估算方法、张量并行约束、容器化部署步骤、关键参数依据、压测口径、故障排查清单以及安全配置与回滚方案。读者可按清单逐项核对,减少上线返工,并在出现问题时快速回退。
一、适用范围与前置条件
本文面向已有推理需求、需要在国产CPU与AI加速卡(以海光DCU等类型为例)上线服务的技术团队。文中的命令与参数以通用写法为主,设备文件、驱动版本、推理框架参数名请以所选硬件和框架的官方文档为准。本文不覆盖模型训练,也不覆盖千亿参数级以上的多机推理调优。
上线前请先确认以下信息,并记录在部署工单中:
- 硬件型号、卡数、单卡显存容量,以及CPU架构与内存大小。
- 加速卡驱动版本、运行时库版本(例如厂商提供的计算栈版本)。
- 推理框架及版本,以及它所支持的模型结构与量化格式。
- 容器运行时版本(如Docker或containerd)及是否允许挂载设备。
- 运行服务的系统用户,以及该用户是否属于访问设备文件所需的用户组。
设备文件通常位于 /dev 下,具体名称依厂商文档而定。部署前可用 ls -l /dev | grep -Ei "kfd|dri|dcu" 之类的命令筛选,确认后再写入启动配置。服务进程应使用普通用户运行,只授予访问设备所需的组权限,不使用特权容器。
二、显存估算与资源规划
显存需求由三部分组成:模型权重、KV Cache、框架与激活开销。权重大小只取决于参数量和精度,可以先算出下限:
| 模型规模 | FP16权重 | INT8权重 | INT4权重 |
|---|---|---|---|
| 7B | 约14GB | 约7GB | 约3.5GB |
| 14B | 约28GB | 约14GB | 约7GB |
| 72B | 约144GB | 约72GB | 约36GB |
计算依据是每个参数占用2字节(FP16)、1字节(INT8)或0.5字节(INT4)。表中只统计权重,不含其他开销。INT4量化通常需要校准,且可能带来精度损失,规划时不应只按表中数值下限估计,需要用目标任务的评测集确认效果。
KV Cache用于保存推理过程中每个请求的上下文。单个token占用的字节数为:
单token KV Cache = 2 × 层数 × KV头数 × 头维度 × 每元素字节数
以40层、8个KV头、头维度128、FP16为例,单token占用 2 × 40 × 8 × 128 × 2 字节,约160KB。一个32K上下文的请求约占5GB,8个并发请求即约40GB。使用分组查询注意力(GQA)的模型KV头数较少,缓存较小。若模型的KV头数等于注意力头数,缓存会明显变大,需要单独核算。上线前应从模型配置文件中读取真实的层数、KV头数和头维度,不要套用别人的数字。
框架与激活开销通常按总量预留10%至20%,具体数值以实测为准。
以单卡64GB为例,72B模型FP16权重约144GB,两张卡放不下权重。采用四卡张量并行时,每卡约分到36GB权重。单卡可用显存按0.85计算约为54GB,扣除权重后剩余约18GB,用于KV Cache和开销。开销按总量的10%至20%估计,即约14GB至29GB,分摊到四卡后每卡约3.6GB至7.2GB。因此每卡留给KV Cache的空间约为11GB至14GB。按前文公式,这些空间能容纳的并发与上下文长度需要再除以单请求占用,得到可接受的并发上限。若结果低于业务需要,应换用更多卡、更低精度或更短的上下文上限,而不是提高利用率参数硬撑。
张量并行度必须能整除模型的注意力头数和KV头数。当KV头数小于并行度时,部分框架会复制KV头,缓存收益会下降,需要按框架文档重新核算。
资源规划完成后,建议按下面的检查表逐项确认:
- 权重:按精度和参数量算出的每卡权重。
- KV Cache:按层数、KV头数、头维度、上下文上限和并发数算出的总量与每卡量。
- 开销:框架与激活开销,按10%至20%预留。
- 卡数与并行度:卡数能整除并行度,并行度能整除头数。
- 并发上限:由剩余显存反推,并留出余量。
三、容器化部署与启动
推荐把模型文件以只读方式挂载进容器,镜像中不包含模型权重。下面的命令以占位符表示需要替换的内容,执行前请逐项替换并核对:
docker run -d \--name llm-infer \--restart unless-stopped \--device <设备文件1> \--device <设备文件2> \--group-add <设备所属用户组> \--shm-size 16g \--memory <内存上限> \--cpus <CPU核数> \-v /data/models/<模型目录>:/models/<模型目录>:ro \-p 127.0.0.1:8000:8000 \-e INFER_API_KEY_FILE=/run/secrets/infer_key \-v /etc/llm/infer_key:/run/secrets/infer_key:ro \<推理镜像>:<版本标签> \--model /models/<模型目录> \--tensor-parallel-size 4 \--max-model-len 32768 \--gpu-memory-utilization 0.85 \--max-num-seqs 8 \--port 8000
参数说明与操作要点如下:
--device:只映射推理所需的设备文件,避免映射整个设备目录。--group-add:补充访问设备所需的用户组,而不是使用特权模式。--shm-size:多卡通信与数据加载可能占用共享内存,默认值偏小时会导致启动或推理异常。-p 127.0.0.1:仅监听本机,由网关或反向代理对外提供服务。
8000- API密钥通过文件挂载注入,不写入命令行,避免在进程列表中暴露。
- 镜像标签使用明确版本号,不使用
latest,以便回滚。
参数名以所选推理框架为准,上面的参数形式参考了常见推理框架的写法。确认无误后,可按以下步骤验证:
- 查看容器日志,确认模型加载完成,卡数与并行度与规划一致。
- 查看设备占用情况,确认每卡显存占用与估算值接近。
- 发送一条短请求,确认返回结果正常且没有报错。
docker logs --tail 200 llm-infercurl -s http://127.0.0.1:8000/v1/models -H "Authorization: Bearer $(cat /etc/llm/infer_key)"
请求中的密钥只在本机终端临时使用,不要保存到历史命令或日志中。
四、关键参数的调整依据
部署参数的取值应来自前面的估算和实测,而不是经验数字。
- 最大上下文长度(
max-model-len):决定单请求KV Cache的上限。取值越大,同一显存下能支撑的并发越少。应按业务实际的最长输入加输出确定,并留出少量余量。 - 显存利用率(
gpu-memory-utilization):决定框架可占用的显存比例。过高会在峰值时引发OOM,过低会浪费显存。建议从0.80开始,压测后再逐步调整。 - 最大并发序列数(
max-num-seqs):决定同时处理的请求数。应等于或小于显存估算中得出的并发上限。 - 张量并行度(
tensor-parallel-size):需要满足前文的整除约束。并行度增大可降低单卡权重,但会增加卡间通信开销。 - 批处理相关参数:批处理等待时间过长会增加首token延迟,过短又会降低吞吐。应根据压测结果在延迟与吞吐之间取舍。
每次只调整一个参数,记录调整前后的压测结果。参数变更需要和版本号一起写入变更记录。
五、压测口径
压测的目的是确认服务在目标负载下的延迟、吞吐和显存峰值,并找到稳定运行的并发上限。压测口径应在报告中写明,否则数据无法复现。
建议的压测维度如下:
- 并发数:1、4、8、16,按实际上限调整。
- 输入长度:512、2K、8K、32K,覆盖业务的典型分布。
- 输出长度:128、512,与业务的典型回答长度一致。
- 预热:正式统计前先运行一段时间,让显存分配与缓存稳定。
- 持续时长:每个组合稳定运行不少于10分钟,统计期间的数据。
需要记录的指标:
- 首token延迟(TTFT):P50、P95、P99。
- 生成速度:每个token的平均间隔,以及P95、P99。
- 吞吐:每秒生成的token数与每秒完成的请求数。
- 显存峰值:每卡的最大占用,以及是否出现OOM。
- 错误率:超时、5xx错误和被截断的请求比例。
报告中应注明硬件型号、驱动与框架版本、模型名称与精度、部署参数以及压测工具的版本。同一配置至少重复测试三次,取结果的中位数。压测数据只适用于报告中写明的条件,不应直接推广到其他模型或硬件上。
六、常见故障排查
按问题出现的阶段排查,比随机尝试更快。
启动阶段:
- 容器启动后立即退出:先看日志末尾的报错。常见原因是设备文件不存在、权限不足或镜像与驱动版本不匹配。
- 找不到设备:确认设备文件已映射,且用户组配置正确。驱动未加载时,设备文件也不会出现。
- 模型加载失败:检查模型目录路径、文件完整性和格式是否与框架要求一致。可对模型文件计算校验和,并与发布方提供的值比对。
- 共享内存不足:出现与进程间通信相关的报错时,检查
--shm-size是否过小。
运行阶段:
- OOM:优先检查最大上下文和并发数是否超过规划值,其次降低显存利用率或并发上限。不要只靠重启解决。
- 首token延迟突然升高:检查是否有长请求挤占批处理,或者是否触发了显存碎片化。
- 吞吐低于压测结果:检查卡的利用率是否偏低、CPU是否成为瓶颈,以及网关是否引入了额外排队。
- 输出乱码或截断:检查分词器与模型文件是否匹配,以及最大输出长度设置是否合理。
排查时保留现场信息,包括完整日志、显存占用快照、请求参数和时间点。这些信息既能定位问题,也能作为回滚判断的依据。
七、安全配置
- 最小权限:服务进程使用普通用户运行,容器不开启特权模式,不挂载与推理无关的目录。
- 网络暴露:服务只绑定内网地址或本机地址,对外通过网关统一接入,并限制来源地址。
- 接口鉴权:所有推理接口都需要携带API密钥。密钥定期轮换,并按调用方分配,避免共用。
- 密钥管理:密钥通过文件或密钥管理服务注入,不写入代码、镜像、命令行参数或日志。
- 请求限流:按调用方设置每分钟请求数和并发上限,防止单一调用方耗尽资源。
- 日志脱敏:日志中不记录完整的用户输入和输出,必要时只保留长度和哈希值。错误信息中不回显密钥或内部路径。
- 模型文件校验:模型文件来源可信,并校验校验和,防止被替换或篡改。模型目录以只读方式挂载。
- 输入限制:对请求体大小、上下文长度和参数范围做校验,超出范围直接拒绝。
八、回滚方案
上线前必须准备回滚路径,并在演练中验证一次。
回滚需要保留的内容:
- 上一个可用的镜像版本标签。
- 上一个可用的模型版本与校验和。
- 上一次可用的完整部署参数,包括并行度、并发上限和显存利用率。
- 网关中上一个可用的路由配置。
回滚触发条件可以参考以下类别,具体阈值由业务的服务等级目标(SLA)决定:
- 错误率持续超过约定阈值。
- P99延迟持续超过约定阈值。
- 出现频繁OOM或容器反复重启。
- 输出质量出现明显异常,且经人工抽检确认。
回滚步骤:
- 在网关中把流量切回上一个版本,或停止新版本接收请求。
- 停止并移除当前容器,保留日志与现场信息。
- 使用上一个镜像标签与参数重新启动容器。
- 按第三节的验证步骤确认服务恢复,并观察至少30分钟的指标。
- 记录回滚原因、时间点和影响范围,并安排复盘。
docker stop llm-infer && docker rename llm-infer llm-infer-faileddocker run -d --name llm-infer <上一版本的完整启动参数>
回滚命令执行前,应确认目标版本与参数已在变更记录中,避免回滚到错误版本。
九、上线检查表
上线前逐项确认,全部通过后再切换流量:
- 硬件、驱动、框架与容器运行时版本已记录。
- 设备文件映射与用户组配置已验证。
- 显存估算已完成,并留出余量。
- 张量并行度满足整除约束。
- 部署参数已写入变更记录。
- 压测已按统一口径完成,结果满足SLA。
- 安全配置已逐项检查,密钥未出现在命令或日志中。
- 回滚版本、回滚参数与回滚步骤已准备并演练。
- 监控与告警已配置,覆盖显存、延迟、错误率和容器状态。
完成检查后,服务可以先以小比例流量灰度,观察指标稳定后再逐步放量。

登录后可评论,请前往 登录 或 注册