双显卡部署27B大模型:显存核算与验收要点
作者:php是最好的2026.11.18 11:30浏览量:0简介:本文以双22GB显存显卡部署27B量化模型为例,说明如何核算权重与KV Cache显存、让显示输出走核显、分步启动推理服务,并给出可照做的验收项。读者可据此判断262144上下文是否可行,避免按参数表估算后才发现显存不足。
先核算显存是否够用
本文的目标模型约27B参数。INT4权重的理论体积约为27×10⁹×0.5字节,即13.5 GB。实际加载体积通常更大,因为量化缩放参数、嵌入层和输出层可能保持较高精度。请以引擎启动日志中报告的权重大小为准。
双卡合计44 GB显存。除权重外,还需预留以下开销:
- 每张卡的CUDA上下文与框架常驻开销,通常为数GB量级,需在自己的环境中实测。
- 激活值与CUDA Graph等运行时缓冲。
- 视觉编码器的权重与图像处理时的激活内存(开启多模态时)。
长上下文的主要占用来自KV Cache,每个token占用的字节数计算方法如下:
每token KV字节数 = 2 × 层数 × KV头数 × 每个头的维度 × 每个元素的字节数
其中,系数2代表K和V两个张量。下面用一组假设数值计算:64层、8个KV头、每头维度128、元素为FP16(2字节)。则每token占用 2×64×8×128×2 = 262144字节,即256 KiB。若上下文为262144个token,KV Cache需要 256 KiB × 262144 = 64 GiB,超过双卡总显存。
这组数字只是示例。层数、KV头数和头维度可以在模型的config文件中查到,字段名因模型而异。如果目标模型是全注意力的稠密结构,在双22GB显存上通常无法同时容纳权重与262144上下文。可行的做法有三种:降低最大上下文长度,例如先设为131072并实测;使用引擎支持的KV Cache低精度存储(如FP8),让占用减半;选择只有部分层做全注意力的模型结构。三种做法都需要实际启动后,以引擎报告的KV Cache容量为准确认。
双卡互联与显示隔离
显存只能被推理进程使用时,显示输出不能占用独立显卡。推荐步骤如下:
- 在BIOS中将核显设为首选显示设备。
- 显示器接主板的视频输出口,不接独立显卡。
- 安装驱动后,执行
nvidia-smi,确认两张独立卡的显存占用接近0,并记录数值。
两张卡通过桥接器相连时,执行 nvidia-smi topo -m 查看两卡之间的连接类型。连接类型为NV系列时表示使用NVLink类互联;若显示为PIX、PHB等,则通过PCIe通信。互联带宽会影响decode阶段的速度,需要在验收时记录。
张量并行(TP)会把每一层的权重矩阵沿某个维度切成两份,每张卡各存一半并共同计算,因此显存与计算量都被分摊。TP不切分层数。按层切分属于流水线并行(PP)。本文的配置使用TP=2。
环境准备
- 操作系统:主流Linux发行版,记录内核版本
uname -r。 - 驱动与CUDA:驱动版本需同时支持所选CUDA版本和推理引擎。安装后执行
nvidia-smi,确认两张卡均可见。 - Python环境:
python3 -m venv /opt/llm-envsource /opt/llm-env/bin/activate
按所用引擎的文档安装依赖,并把精确版本号写入 requirements.txt,便于复现。
- 模型文件:从官方渠道下载,并校验SHA256:
sha256sum /data/models/llm-27b-int4/*.safetensors
将结果与发布页的校验值比对。
- 运行用户:新建非root用户(如
llm),服务目录放在/srv/llm,避免以管理员身份运行推理进程。
启动配置
以下命令以vLLM风格的参数为例。参数名随版本变化,请以所用版本的 --help 输出为准:
vllm serve /data/models/llm-27b-int4 \--tensor-parallel-size 2 \--gpu-memory-utilization 0.90 \--max-model-len 131072 \--host 10.0.0.10 \--port 8000
各参数的建议起点与调整依据如下:
| 参数 | 作用 | 建议起点 | 调整依据 |
|---|---|---|---|
| 张量并行大小 | 两卡切分权重 | 2 | 固定为卡数 |
| 显存利用率 | 为激活值与碎片预留空间 | 0.90 | 长上下文峰值出现OOM时下调;数值越接近1,峰值越容易越界 |
| 最大上下文长度 | 单请求允许的token上限 | 131072 | 按KV核算与实测结果调整 |
| 投机解码步数(MTP) | 一次预测多个token以加速decode | 1 | 稳定后再尝试3 |
| 多模态 | 增加视觉编码器显存占用 | 不需要图像时关闭 | 按引擎文档设置图像数量上限 |
服务通过systemd托管,并设置自动重启:
[Service]User=llmExecStart=/opt/llm-env/bin/vllm serve ...Restart=alwaysRestartSec=5
MTP与流式工具调用
在部分早期版本中,较高的MTP值会导致流式输出的JSON参数不完整,或工具名为空。遇到此问题时,按以下流程排查:
- 记录引擎版本、MTP值以及日志中的告警原文。
- 准备一组固定的工具调用样例,例如50条,并以
stream=true方式调用。 - 统计JSON可解析率与工具名非空率。
- 将MTP设为1,连续运行500次请求,确认无解析失败。
- 将MTP设为3,用同一组样例重复测试,对比结果。
- 若出现失败,立即将MTP改回1并重启服务。
性能测试方法
本文不给出通用的性能数值。同一模型在不同显卡、互联方式、引擎版本和请求形态下,结果差异很大。建议按以下方法测量,并把结果填入下表:
- 固定输入长度(如2048 token)与输出长度(如512 token)。
- 分别测试batch

登录后可评论,请前往 登录 或 注册