logo

国产算力上大模型推理:从资源估算到安全上线

作者:php是最好的2026.11.18 12:14浏览量:0

简介:本文面向需要在国产CPU与AI加速卡上线大模型推理服务的团队,给出显存与KV Cache估算方法、张量并行约束、容器化部署步骤、关键参数依据、压测口径、故障排查清单以及安全配置与回滚方案。读者可按清单逐项核对,减少上线返工,并在出现问题时快速回退。

一、适用范围与前置条件

本文面向已有推理需求、需要在国产CPU与AI加速卡(以海光DCU等类型为例)上线服务的技术团队。文中的命令与参数以通用写法为主,设备文件、驱动版本、推理框架参数名请以所选硬件和框架的官方文档为准。本文不覆盖模型训练,也不覆盖千亿参数级以上的多机推理调优。

上线前请先确认以下信息,并记录在部署工单中:

  • 硬件型号、卡数、单卡显存容量,以及CPU架构与内存大小。
  • 加速卡驱动版本、运行时库版本(例如厂商提供的计算栈版本)。
  • 推理框架及版本,以及它所支持的模型结构与量化格式。
  • 容器运行时版本(如Docker或containerd)及是否允许挂载设备。
  • 运行服务的系统用户,以及该用户是否属于访问设备文件所需的用户组。

设备文件通常位于 /dev 下,具体名称依厂商文档而定。部署前可用 ls -l /dev | grep -Ei "kfd|dri|dcu" 之类的命令筛选,确认后再写入启动配置。服务进程应使用普通用户运行,只授予访问设备所需的组权限,不使用特权容器。

二、显存估算与资源规划

显存需求由三部分组成:模型权重、KV Cache、框架与激活开销。权重大小只取决于参数量和精度,可以先算出下限:

模型规模 FP16权重 INT8权重 INT4权重
7B 约14GB 约7GB 约3.5GB
14B 约28GB 约14GB 约7GB
72B 约144GB 约72GB 约36GB

计算依据是每个参数占用2字节(FP16)、1字节(INT8)或0.5字节(INT4)。表中只统计权重,不含其他开销。INT4量化通常需要校准,且可能带来精度损失,规划时不应只按表中数值下限估计,需要用目标任务的评测集确认效果。

KV Cache用于保存推理过程中每个请求的上下文。单个token占用的字节数为:

单token KV Cache = 2 × 层数 × KV头数 × 头维度 × 每元素字节数

以40层、8个KV头、头维度128、FP16为例,单token占用 2 × 40 × 8 × 128 × 2 字节,约160KB。一个32K上下文的请求约占5GB,8个并发请求即约40GB。使用分组查询注意力(GQA)的模型KV头数较少,缓存较小。若模型的KV头数等于注意力头数,缓存会明显变大,需要单独核算。上线前应从模型配置文件中读取真实的层数、KV头数和头维度,不要套用别人的数字。

框架与激活开销通常按总量预留10%至20%,具体数值以实测为准。

以单卡64GB为例,72B模型FP16权重约144GB,两张卡放不下权重。采用四卡张量并行时,每卡约分到36GB权重。单卡可用显存按0.85计算约为54GB,扣除权重后剩余约18GB,用于KV Cache和开销。开销按总量的10%至20%估计,即约14GB至29GB,分摊到四卡后每卡约3.6GB至7.2GB。因此每卡留给KV Cache的空间约为11GB至14GB。按前文公式,这些空间能容纳的并发与上下文长度需要再除以单请求占用,得到可接受的并发上限。若结果低于业务需要,应换用更多卡、更低精度或更短的上下文上限,而不是提高利用率参数硬撑。

张量并行度必须能整除模型的注意力头数和KV头数。当KV头数小于并行度时,部分框架会复制KV头,缓存收益会下降,需要按框架文档重新核算。

资源规划完成后,建议按下面的检查表逐项确认:

  • 权重:按精度和参数量算出的每卡权重。
  • KV Cache:按层数、KV头数、头维度、上下文上限和并发数算出的总量与每卡量。
  • 开销:框架与激活开销,按10%至20%预留。
  • 卡数与并行度:卡数能整除并行度,并行度能整除头数。
  • 并发上限:由剩余显存反推,并留出余量。

三、容器化部署与启动

推荐把模型文件以只读方式挂载进容器,镜像中不包含模型权重。下面的命令以占位符表示需要替换的内容,执行前请逐项替换并核对:

  1. docker run -d \
  2. --name llm-infer \
  3. --restart unless-stopped \
  4. --device <设备文件1> \
  5. --device <设备文件2> \
  6. --group-add <设备所属用户组> \
  7. --shm-size 16g \
  8. --memory <内存上限> \
  9. --cpus <CPU核数> \
  10. -v /data/models/<模型目录>:/models/<模型目录>:ro \
  11. -p 127.0.0.1:8000:8000 \
  12. -e INFER_API_KEY_FILE=/run/secrets/infer_key \
  13. -v /etc/llm/infer_key:/run/secrets/infer_key:ro \
  14. <推理镜像>:<版本标签> \
  15. --model /models/<模型目录> \
  16. --tensor-parallel-size 4 \
  17. --max-model-len 32768 \
  18. --gpu-memory-utilization 0.85 \
  19. --max-num-seqs 8 \
  20. --port 8000

参数说明与操作要点如下:

  • --device:只映射推理所需的设备文件,避免映射整个设备目录。
  • --group-add:补充访问设备所需的用户组,而不是使用特权模式。
  • --shm-size:多卡通信与数据加载可能占用共享内存,默认值偏小时会导致启动或推理异常。
  • -p 127.0.0.1:8000:8000:仅监听本机,由网关或反向代理对外提供服务。
  • API密钥通过文件挂载注入,不写入命令行,避免在进程列表中暴露。
  • 镜像标签使用明确版本号,不使用 latest,以便回滚。

参数名以所选推理框架为准,上面的参数形式参考了常见推理框架的写法。确认无误后,可按以下步骤验证:

  1. 查看容器日志,确认模型加载完成,卡数与并行度与规划一致。
  2. 查看设备占用情况,确认每卡显存占用与估算值接近。
  3. 发送一条短请求,确认返回结果正常且没有报错。
  1. docker logs --tail 200 llm-infer
  2. curl -s http://127.0.0.1:8000/v1/models -H "Authorization: Bearer $(cat /etc/llm/infer_key)"

请求中的密钥只在本机终端临时使用,不要保存到历史命令或日志中。

四、关键参数的调整依据

部署参数的取值应来自前面的估算和实测,而不是经验数字。

  • 最大上下文长度(max-model-len):决定单请求KV Cache的上限。取值越大,同一显存下能支撑的并发越少。应按业务实际的最长输入加输出确定,并留出少量余量。
  • 显存利用率(gpu-memory-utilization):决定框架可占用的显存比例。过高会在峰值时引发OOM,过低会浪费显存。建议从0.80开始,压测后再逐步调整。
  • 最大并发序列数(max-num-seqs):决定同时处理的请求数。应等于或小于显存估算中得出的并发上限。
  • 张量并行度(tensor-parallel-size):需要满足前文的整除约束。并行度增大可降低单卡权重,但会增加卡间通信开销。
  • 批处理相关参数:批处理等待时间过长会增加首token延迟,过短又会降低吞吐。应根据压测结果在延迟与吞吐之间取舍。

每次只调整一个参数,记录调整前后的压测结果。参数变更需要和版本号一起写入变更记录。

五、压测口径

压测的目的是确认服务在目标负载下的延迟、吞吐和显存峰值,并找到稳定运行的并发上限。压测口径应在报告中写明,否则数据无法复现。

建议的压测维度如下:

  • 并发数:1、4、8、16,按实际上限调整。
  • 输入长度:512、2K、8K、32K,覆盖业务的典型分布。
  • 输出长度:128、512,与业务的典型回答长度一致。
  • 预热:正式统计前先运行一段时间,让显存分配与缓存稳定。
  • 持续时长:每个组合稳定运行不少于10分钟,统计期间的数据。

需要记录的指标:

  • 首token延迟(TTFT):P50、P95、P99。
  • 生成速度:每个token的平均间隔,以及P95、P99。
  • 吞吐:每秒生成的token数与每秒完成的请求数。
  • 显存峰值:每卡的最大占用,以及是否出现OOM。
  • 错误率:超时、5xx错误和被截断的请求比例。

报告中应注明硬件型号、驱动与框架版本、模型名称与精度、部署参数以及压测工具的版本。同一配置至少重复测试三次,取结果的中位数。压测数据只适用于报告中写明的条件,不应直接推广到其他模型或硬件上。

六、常见故障排查

按问题出现的阶段排查,比随机尝试更快。

启动阶段:

  • 容器启动后立即退出:先看日志末尾的报错。常见原因是设备文件不存在、权限不足或镜像与驱动版本不匹配。
  • 找不到设备:确认设备文件已映射,且用户组配置正确。驱动未加载时,设备文件也不会出现。
  • 模型加载失败:检查模型目录路径、文件完整性和格式是否与框架要求一致。可对模型文件计算校验和,并与发布方提供的值比对。
  • 共享内存不足:出现与进程间通信相关的报错时,检查 --shm-size 是否过小。

运行阶段:

  • OOM:优先检查最大上下文和并发数是否超过规划值,其次降低显存利用率或并发上限。不要只靠重启解决。
  • 首token延迟突然升高:检查是否有长请求挤占批处理,或者是否触发了显存碎片化。
  • 吞吐低于压测结果:检查卡的利用率是否偏低、CPU是否成为瓶颈,以及网关是否引入了额外排队。
  • 输出乱码或截断:检查分词器与模型文件是否匹配,以及最大输出长度设置是否合理。

排查时保留现场信息,包括完整日志、显存占用快照、请求参数和时间点。这些信息既能定位问题,也能作为回滚判断的依据。

七、安全配置

  • 最小权限:服务进程使用普通用户运行,容器不开启特权模式,不挂载与推理无关的目录。
  • 网络暴露:服务只绑定内网地址或本机地址,对外通过网关统一接入,并限制来源地址。
  • 接口鉴权:所有推理接口都需要携带API密钥。密钥定期轮换,并按调用方分配,避免共用。
  • 密钥管理:密钥通过文件或密钥管理服务注入,不写入代码、镜像、命令行参数或日志。
  • 请求限流:按调用方设置每分钟请求数和并发上限,防止单一调用方耗尽资源。
  • 日志脱敏:日志中不记录完整的用户输入和输出,必要时只保留长度和哈希值。错误信息中不回显密钥或内部路径。
  • 模型文件校验:模型文件来源可信,并校验校验和,防止被替换或篡改。模型目录以只读方式挂载。
  • 输入限制:对请求体大小、上下文长度和参数范围做校验,超出范围直接拒绝。

八、回滚方案

上线前必须准备回滚路径,并在演练中验证一次。

回滚需要保留的内容:

  • 上一个可用的镜像版本标签。
  • 上一个可用的模型版本与校验和。
  • 上一次可用的完整部署参数,包括并行度、并发上限和显存利用率。
  • 网关中上一个可用的路由配置。

回滚触发条件可以参考以下类别,具体阈值由业务的服务等级目标(SLA)决定:

  • 错误率持续超过约定阈值。
  • P99延迟持续超过约定阈值。
  • 出现频繁OOM或容器反复重启。
  • 输出质量出现明显异常,且经人工抽检确认。

回滚步骤:

  1. 在网关中把流量切回上一个版本,或停止新版本接收请求。
  2. 停止并移除当前容器,保留日志与现场信息。
  3. 使用上一个镜像标签与参数重新启动容器。
  4. 按第三节的验证步骤确认服务恢复,并观察至少30分钟的指标。
  5. 记录回滚原因、时间点和影响范围,并安排复盘。
  1. docker stop llm-infer && docker rename llm-infer llm-infer-failed
  2. docker run -d --name llm-infer <上一版本的完整启动参数>

回滚命令执行前,应确认目标版本与参数已在变更记录中,避免回滚到错误版本。

九、上线检查表

上线前逐项确认,全部通过后再切换流量:

  • 硬件、驱动、框架与容器运行时版本已记录。
  • 设备文件映射与用户组配置已验证。
  • 显存估算已完成,并留出余量。
  • 张量并行度满足整除约束。
  • 部署参数已写入变更记录。
  • 压测已按统一口径完成,结果满足SLA。
  • 安全配置已逐项检查,密钥未出现在命令或日志中。
  • 回滚版本、回滚参数与回滚步骤已准备并演练。
  • 监控与告警已配置,覆盖显存、延迟、错误率和容器状态。

完成检查后,服务可以先以小比例流量灰度,观察指标稳定后再逐步放量。

发表评论

活动