双卡3090 NVLink跑14B推理:压测与选型
作者:很酷cat2026.11.16 11:55浏览量:1简介:用两张RTX 3090通过官方NVLink桥运行14B模型,给出vLLM张量并行的启动命令、benchmark压测步骤和NVLink与PCIe对比方法,并说明哪些场景值得双卡部署,以及为何不建议拆机改造显卡。
一、适用范围与风险边界
本文只讨论官方支持NVLink的消费级显卡,以RTX 3090配套的官方NVLink桥为例。RTX 4090没有NVLink接口,不能使用本文方案。
本文不建议拆机改造显卡去引出内部信号线。这类操作通常会导致保修失效,可能损坏显卡、主板或电源,而且线路的电气兼容性无法保证。下文所有步骤都使用官方NVLink桥和标准PCIe插槽。
如果没有NVLink桥,仍可以用PCIe方式运行双卡推理,但性能差异需要在自己的环境中重新测量。
二、何时需要双卡
双卡张量并行适合以下三类情况:
- 模型权重超过单卡显存。14B参数的模型按FP16存储约需28GB权重(14×10^9×2字节),单张24GB显卡装不下。切分到两张卡后,每张卡约承担14GB权重,剩余空间用于KV缓存、激活值和框架开销。
- 需要FP16精度或较长上下文,而单卡的KV缓存空间不够支撑目标并发。
- 投入硬件前,需要先量化互联对吞吐和延迟的影响。
如果模型经过4bit量化后能在单卡上运行,14B模型的权重约为7到9GB(含量化参数),直接使用单卡更简单,也没有卡间通信开销。
三、组件与版本
| 组件 | 本文使用 | 说明 |
|---|---|---|
| 显卡 | RTX 3090 两张,配官方NVLink桥 | 同型号、同显存容量 |
| 推理框架 | vLLM,精确版本在测试报告中注明 | 支持张量并行,内置兼容OpenAI接口的HTTP服务 |
| 压测工具 | vLLM仓库中的benchmark_serving.py | 输出吞吐、TTFT、TPOT及各分位延迟 |
| 监控 | nvidia-smi | 查看利用率、显存、功耗、温度、NVLink状态 |
驱动、CUDA和vLLM版本需要写入测试报告,并与框架官方的版本兼容矩阵核对。压测脚本的路径和参数名会随版本变化。较新的vLLM版本可能把压测脚本迁移为vllm bench serve子命令,应以所装版本的--help输出为准。
四、前置准备与硬件检查
- 硬件:两张同型号显卡,配套官方NVLink桥。确认桥的槽距与主板上两张卡的插槽间距一致,安装后卡身与桥两端都要完全到位。
- 电源:单张RTX 3090的TDP为350W。电源额定功率应大于两张卡TDP之和,再加上CPU和其他部件的功耗,并留出余量。
- 散热:两张卡紧邻安装,机箱风道要通畅。压测期间确认温度不会长时间触发降频。
- 软件:驱动、CUDA和vLLM版本保持一致。
安装完成后执行以下检查:
nvidia-sminvidia-smi topo -mnvidia-smi nvlink -s
nvidia-smi topo -m中,两卡之间应显示以NV开头的连接类型。若显示PHB或SYS,说明没有走NVLink。nvidia-smi nvlink -s用于查看各链路状态,应为激活。压测前还要记录空载时的显存占用、温度和功耗,作为基线。
五、部署命令
安装指定版本的vLLM,版本号替换为你在兼容矩阵中核对过的版本:
pip install vllm==<你选定的版本>
启动双卡张量并行服务:
CUDA_VISIBLE_DEVICES=0,1 vllm serve /models/<14B模型目录> \--tensor-parallel-size 2 \--dtype float16 \--gpu-memory-utilization 0.90 \--max-model-len 8192 \--host 0.0.0.0 \--port 8000
参数说明:--tensor-parallel-size 2把模型切分到两张卡。--gpu-memory-utilization 0.90限制每张卡可用于推理的显存比例,留出余量给系统和CUDA上下文。--max-model-len 8192限制单请求的最大长度,减少KV缓存占用。若启动时报显存不足,先降低--max-model-len。参数名随版本变化,以vllm serve --help为准。
服务启动后,用下面的命令确认接口可用:
curl http://127.0.0.1:8000/v1/models
返回的模型列表中应包含你部署的模型名称。
六、压测方法
压测分三步:确认服务可用,按并发梯度测试,记录结果。
在vLLM仓库的benchmarks目录中执行,参数以所装版本的--help为准:
for c in 1 4 8 16; dopython benchmarks/benchmark_serving.py \--backend vllm \--model /models/<14B模型目录> \--host 127.0.0.1 --port 8000 \--dataset-name random \--random-input-len 512 \--random-output-len 128 \--num-prompts 200 \--max-concurrency $c \--save-result --result-filename run_c${c}.jsondone
每组测试使用同一份输入数据集,并且每个并发档位重复三次,取中位数。测试期间另开一个终端运行nvidia-smi dmon -d 1,记录两张卡的利用率、功耗和温度。
需要记录的指标包括:输出吞吐(tokens/s)、首Token延迟TTFT的中位数和P99、每Token输出时间TPOT的中位数、请求成功率。
七、NVLink与PCIe对比
对比时只改变互联方式,其他条件保持不变:模型、vLLM版本、启动参数、输入数据集、并发梯度。
先在装有NVLink桥的状态下完成全部测试。然后关机,拔掉NVLink桥,保持两张卡在原槽位,用相同命令重测。拔桥后运行nvidia-smi topo -m,确认两卡之间的连接类型已经改变。
NCCL_P2P_DISABLE=1也能禁用点对点通信,但它改变的是通信路径,与拔桥并不完全等价,只能作为辅助参考。
张量并行的解码阶段,每生成一个Token都需要做一次all-reduce。通信次数多而单次数据量小,因此延迟往往比带宽更影响TPOT。NVLink的理论带宽高于PCIe 4.0 x16,但实际收益取决于通信在总耗时中的占比,需要用测试数据确认。
本文不给出固定性能数字,因为结果取决于主板、CPU、内存、输入长度和驱动版本。下表是结果记录模板:
| 并发数 | NVLink吞吐(tokens/s) | PCIe吞吐(tokens/s) | NVLink TTFT中位数(ms) | PCIe TTFT中位数(ms) |
|---|---|---|---|---|
| 1 | 待填写 | 待填写 | 待填写 | 待填写 |
| 4 | 待填写 | 待填写 | 待填写 | 待填写 |
| 8 | 待填写 | 待填写 | 待填写 | 待填写 |
| 16 | 待填写 | 待填写 | 待填写 | 待填写 |
八、排错清单
- 两卡之间只显示PHB或SYS:检查桥是否完全插到位,确认两张卡的插槽与桥匹配,并用
nvidia-smi nvlink -s查看是否有链路激活。 - 启动时报显存不足:降低
--max-model-len,并用nvidia-smi确认没有其他进程占用显存。 - 启动卡住或NCCL超时:检查两张卡是否都被识别,驱动版本是否一致,
CUDA_VISIBLE_DEVICES是否设置正确。 - 压测中某张卡温度或功耗持续触发降频:改善风道,检查电源功率。压测结果需注明温度条件。
- 吞吐波动较大:关闭其他占用GPU的任务,每组重复测试并取中位数。
九、选型结论与局限
选型建议如下:
- 若14B模型量化后能在单卡运行,优先选择单卡。
- 若必须使用FP16或较长上下文,且单卡显存不够,选择双卡张量并行。NVLink在条件允许时值得使用,具体收益以第七节的对比结果为准。
- 不建议为了双卡方案拆机改造显卡。
本文的结论有以下局限:
- 只覆盖RTX 3090、一个14B模型和一种输入输出长度组合。换成其他模型、量化方式、序列长度或驱动版本,结论可能不同。
- 压测使用随机数据集,真实业务的请求分布可能不同。
- 单机测试不能反映多机部署或长时间运行的稳定性。
十、常见问题
能否用RTX 4090? 不能使用NVLink。可以用PCIe方式双卡运行,但需要在本机重新测量。
没有NVLink桥怎么办? 仍可通过PCIe做张量并行,吞吐和延迟需要在本机重新测量。
量化后是否还值得双卡? 若量化后单卡能装下模型并满足并发需求,通常单卡更划算,无需为双卡增加功耗和硬件成本。

登录后可评论,请前往 登录 或 注册