logo

双卡3090 NVLink跑14B推理:压测与选型

作者:很酷cat2026.11.16 11:55浏览量:1

简介:用两张RTX 3090通过官方NVLink桥运行14B模型,给出vLLM张量并行的启动命令、benchmark压测步骤和NVLink与PCIe对比方法,并说明哪些场景值得双卡部署,以及为何不建议拆机改造显卡。

一、适用范围与风险边界

本文只讨论官方支持NVLink的消费级显卡,以RTX 3090配套的官方NVLink桥为例。RTX 4090没有NVLink接口,不能使用本文方案。

本文不建议拆机改造显卡去引出内部信号线。这类操作通常会导致保修失效,可能损坏显卡、主板或电源,而且线路的电气兼容性无法保证。下文所有步骤都使用官方NVLink桥和标准PCIe插槽。

如果没有NVLink桥,仍可以用PCIe方式运行双卡推理,但性能差异需要在自己的环境中重新测量。

二、何时需要双卡

双卡张量并行适合以下三类情况:

  1. 模型权重超过单卡显存。14B参数的模型按FP16存储约需28GB权重(14×10^9×2字节),单张24GB显卡装不下。切分到两张卡后,每张卡约承担14GB权重,剩余空间用于KV缓存、激活值和框架开销。
  2. 需要FP16精度或较长上下文,而单卡的KV缓存空间不够支撑目标并发。
  3. 投入硬件前,需要先量化互联对吞吐和延迟的影响。

如果模型经过4bit量化后能在单卡上运行,14B模型的权重约为7到9GB(含量化参数),直接使用单卡更简单,也没有卡间通信开销。

三、组件与版本

组件 本文使用 说明
显卡 RTX 3090 两张,配官方NVLink桥 同型号、同显存容量
推理框架 vLLM,精确版本在测试报告中注明 支持张量并行,内置兼容OpenAI接口的HTTP服务
压测工具 vLLM仓库中的benchmark_serving.py 输出吞吐、TTFT、TPOT及各分位延迟
监控 nvidia-smi 查看利用率、显存、功耗、温度、NVLink状态

驱动、CUDA和vLLM版本需要写入测试报告,并与框架官方的版本兼容矩阵核对。压测脚本的路径和参数名会随版本变化。较新的vLLM版本可能把压测脚本迁移为vllm bench serve子命令,应以所装版本的--help输出为准。

四、前置准备与硬件检查

  1. 硬件:两张同型号显卡,配套官方NVLink桥。确认桥的槽距与主板上两张卡的插槽间距一致,安装后卡身与桥两端都要完全到位。
  2. 电源:单张RTX 3090的TDP为350W。电源额定功率应大于两张卡TDP之和,再加上CPU和其他部件的功耗,并留出余量。
  3. 散热:两张卡紧邻安装,机箱风道要通畅。压测期间确认温度不会长时间触发降频。
  4. 软件:驱动、CUDA和vLLM版本保持一致。

安装完成后执行以下检查:

  1. nvidia-smi
  2. nvidia-smi topo -m
  3. nvidia-smi nvlink -s

nvidia-smi topo -m中,两卡之间应显示以NV开头的连接类型。若显示PHB或SYS,说明没有走NVLink。nvidia-smi nvlink -s用于查看各链路状态,应为激活。压测前还要记录空载时的显存占用、温度和功耗,作为基线。

五、部署命令

安装指定版本的vLLM,版本号替换为你在兼容矩阵中核对过的版本:

  1. pip install vllm==<你选定的版本>

启动双卡张量并行服务:

  1. CUDA_VISIBLE_DEVICES=0,1 vllm serve /models/<14B模型目录> \
  2. --tensor-parallel-size 2 \
  3. --dtype float16 \
  4. --gpu-memory-utilization 0.90 \
  5. --max-model-len 8192 \
  6. --host 0.0.0.0 \
  7. --port 8000

参数说明:--tensor-parallel-size 2把模型切分到两张卡。--gpu-memory-utilization 0.90限制每张卡可用于推理的显存比例,留出余量给系统和CUDA上下文。--max-model-len 8192限制单请求的最大长度,减少KV缓存占用。若启动时报显存不足,先降低--max-model-len。参数名随版本变化,以vllm serve --help为准。

服务启动后,用下面的命令确认接口可用:

  1. curl http://127.0.0.1:8000/v1/models

返回的模型列表中应包含你部署的模型名称。

六、压测方法

压测分三步:确认服务可用,按并发梯度测试,记录结果。

在vLLM仓库的benchmarks目录中执行,参数以所装版本的--help为准:

  1. for c in 1 4 8 16; do
  2. python benchmarks/benchmark_serving.py \
  3. --backend vllm \
  4. --model /models/<14B模型目录> \
  5. --host 127.0.0.1 --port 8000 \
  6. --dataset-name random \
  7. --random-input-len 512 \
  8. --random-output-len 128 \
  9. --num-prompts 200 \
  10. --max-concurrency $c \
  11. --save-result --result-filename run_c${c}.json
  12. done

每组测试使用同一份输入数据集,并且每个并发档位重复三次,取中位数。测试期间另开一个终端运行nvidia-smi dmon -d 1,记录两张卡的利用率、功耗和温度。

需要记录的指标包括:输出吞吐(tokens/s)、首Token延迟TTFT的中位数和P99、每Token输出时间TPOT的中位数、请求成功率。

对比时只改变互联方式,其他条件保持不变:模型、vLLM版本、启动参数、输入数据集、并发梯度。

先在装有NVLink桥的状态下完成全部测试。然后关机,拔掉NVLink桥,保持两张卡在原槽位,用相同命令重测。拔桥后运行nvidia-smi topo -m,确认两卡之间的连接类型已经改变。

NCCL_P2P_DISABLE=1也能禁用点对点通信,但它改变的是通信路径,与拔桥并不完全等价,只能作为辅助参考。

张量并行的解码阶段,每生成一个Token都需要做一次all-reduce。通信次数多而单次数据量小,因此延迟往往比带宽更影响TPOT。NVLink的理论带宽高于PCIe 4.0 x16,但实际收益取决于通信在总耗时中的占比,需要用测试数据确认。

本文不给出固定性能数字,因为结果取决于主板、CPU、内存、输入长度和驱动版本。下表是结果记录模板:

并发数 NVLink吞吐(tokens/s) PCIe吞吐(tokens/s) NVLink TTFT中位数(ms) PCIe TTFT中位数(ms)
1 待填写 待填写 待填写 待填写
4 待填写 待填写 待填写 待填写
8 待填写 待填写 待填写 待填写
16 待填写 待填写 待填写 待填写

八、排错清单

  • 两卡之间只显示PHB或SYS:检查桥是否完全插到位,确认两张卡的插槽与桥匹配,并用nvidia-smi nvlink -s查看是否有链路激活。
  • 启动时报显存不足:降低--max-model-len,并用nvidia-smi确认没有其他进程占用显存。
  • 启动卡住或NCCL超时:检查两张卡是否都被识别,驱动版本是否一致,CUDA_VISIBLE_DEVICES是否设置正确。
  • 压测中某张卡温度或功耗持续触发降频:改善风道,检查电源功率。压测结果需注明温度条件。
  • 吞吐波动较大:关闭其他占用GPU的任务,每组重复测试并取中位数。

九、选型结论与局限

选型建议如下:

  • 若14B模型量化后能在单卡运行,优先选择单卡。
  • 若必须使用FP16或较长上下文,且单卡显存不够,选择双卡张量并行。NVLink在条件允许时值得使用,具体收益以第七节的对比结果为准。
  • 不建议为了双卡方案拆机改造显卡。

本文的结论有以下局限:

  • 只覆盖RTX 3090、一个14B模型和一种输入输出长度组合。换成其他模型、量化方式、序列长度或驱动版本,结论可能不同。
  • 压测使用随机数据集,真实业务的请求分布可能不同。
  • 单机测试不能反映多机部署或长时间运行的稳定性。

十、常见问题

能否用RTX 4090? 不能使用NVLink。可以用PCIe方式双卡运行,但需要在本机重新测量。

没有NVLink桥怎么办? 仍可通过PCIe做张量并行,吞吐和延迟需要在本机重新测量。

量化后是否还值得双卡? 若量化后单卡能装下模型并满足并发需求,通常单卡更划算,无需为双卡增加功耗和硬件成本。

发表评论

活动