logo

双显卡部署27B大模型:显存核算与验收要点

作者:php是最好的2026.11.18 11:30浏览量:0

简介:本文以双22GB显存显卡部署27B量化模型为例,说明如何核算权重与KV Cache显存、让显示输出走核显、分步启动推理服务,并给出可照做的验收项。读者可据此判断262144上下文是否可行,避免按参数表估算后才发现显存不足。

先核算显存是否够用

本文的目标模型约27B参数。INT4权重的理论体积约为27×10⁹×0.5字节,即13.5 GB。实际加载体积通常更大,因为量化缩放参数、嵌入层和输出层可能保持较高精度。请以引擎启动日志中报告的权重大小为准。

双卡合计44 GB显存。除权重外,还需预留以下开销:

  • 每张卡的CUDA上下文与框架常驻开销,通常为数GB量级,需在自己的环境中实测。
  • 激活值与CUDA Graph等运行时缓冲。
  • 视觉编码器的权重与图像处理时的激活内存(开启多模态时)。

长上下文的主要占用来自KV Cache,每个token占用的字节数计算方法如下:

每token KV字节数 = 2 × 层数 × KV头数 × 每个头的维度 × 每个元素的字节数

其中,系数2代表K和V两个张量。下面用一组假设数值计算:64层、8个KV头、每头维度128、元素为FP16(2字节)。则每token占用 2×64×8×128×2 = 262144字节,即256 KiB。若上下文为262144个token,KV Cache需要 256 KiB × 262144 = 64 GiB,超过双卡总显存。

这组数字只是示例。层数、KV头数和头维度可以在模型的config文件中查到,字段名因模型而异。如果目标模型是全注意力的稠密结构,在双22GB显存上通常无法同时容纳权重与262144上下文。可行的做法有三种:降低最大上下文长度,例如先设为131072并实测;使用引擎支持的KV Cache低精度存储(如FP8),让占用减半;选择只有部分层做全注意力的模型结构。三种做法都需要实际启动后,以引擎报告的KV Cache容量为准确认。

双卡互联与显示隔离

显存只能被推理进程使用时,显示输出不能占用独立显卡。推荐步骤如下:

  1. 在BIOS中将核显设为首选显示设备。
  2. 显示器接主板的视频输出口,不接独立显卡。
  3. 安装驱动后,执行 nvidia-smi,确认两张独立卡的显存占用接近0,并记录数值。

两张卡通过桥接器相连时,执行 nvidia-smi topo -m 查看两卡之间的连接类型。连接类型为NV系列时表示使用NVLink类互联;若显示为PIX、PHB等,则通过PCIe通信。互联带宽会影响decode阶段的速度,需要在验收时记录。

张量并行(TP)会把每一层的权重矩阵沿某个维度切成两份,每张卡各存一半并共同计算,因此显存与计算量都被分摊。TP不切分层数。按层切分属于流水线并行(PP)。本文的配置使用TP=2。

环境准备

  1. 操作系统:主流Linux发行版,记录内核版本 uname -r。
  2. 驱动与CUDA:驱动版本需同时支持所选CUDA版本和推理引擎。安装后执行 nvidia-smi,确认两张卡均可见。
  3. Python环境:
  1. python3 -m venv /opt/llm-env
  2. source /opt/llm-env/bin/activate

按所用引擎的文档安装依赖,并把精确版本号写入 requirements.txt,便于复现。

  1. 模型文件:从官方渠道下载,并校验SHA256:
  1. sha256sum /data/models/llm-27b-int4/*.safetensors

将结果与发布页的校验值比对。

  1. 运行用户:新建非root用户(如 llm),服务目录放在 /srv/llm,避免以管理员身份运行推理进程。

启动配置

以下命令以vLLM风格的参数为例。参数名随版本变化,请以所用版本的 --help 输出为准:

  1. vllm serve /data/models/llm-27b-int4 \
  2. --tensor-parallel-size 2 \
  3. --gpu-memory-utilization 0.90 \
  4. --max-model-len 131072 \
  5. --host 10.0.0.10 \
  6. --port 8000

各参数的建议起点与调整依据如下:

参数 作用 建议起点 调整依据
张量并行大小 两卡切分权重 2 固定为卡数
显存利用率 为激活值与碎片预留空间 0.90 长上下文峰值出现OOM时下调;数值越接近1,峰值越容易越界
最大上下文长度 单请求允许的token上限 131072 按KV核算与实测结果调整
投机解码步数(MTP) 一次预测多个token以加速decode 1 稳定后再尝试3
多模态 增加视觉编码器显存占用 不需要图像时关闭 按引擎文档设置图像数量上限

服务通过systemd托管,并设置自动重启:

  1. [Service]
  2. User=llm
  3. ExecStart=/opt/llm-env/bin/vllm serve ...
  4. Restart=always
  5. RestartSec=5

MTP与流式工具调用

在部分早期版本中,较高的MTP值会导致流式输出的JSON参数不完整,或工具名为空。遇到此问题时,按以下流程排查:

  1. 记录引擎版本、MTP值以及日志中的告警原文。
  2. 准备一组固定的工具调用样例,例如50条,并以 stream=true 方式调用。
  3. 统计JSON可解析率与工具名非空率。
  4. 将MTP设为1,连续运行500次请求,确认无解析失败。
  5. 将MTP设为3,用同一组样例重复测试,对比结果。
  6. 若出现失败,立即将MTP改回1并重启服务。

性能测试方法

本文不给出通用的性能数值。同一模型在不同显卡、互联方式、引擎版本和请求形态下,结果差异很大。建议按以下方法测量,并把结果填入下表:

  • 固定输入长度(如2048 token)与输出长度(如512 token)。
  • 分别测试batch

发表评论

活动