GPU推理性能评估与选型:带宽、吞吐、脚本
作者:半吊子全栈工匠2026.11.20 06:44浏览量:0简介:本文以两类数据中心加速卡为参照,讲解如何评估GPU推理性能:读懂实测算力与显存带宽,设计128并发短/长负载,比较FP8与BF16吞吐差异,并给出可运行脚本、变量控制与误区清单,帮助读者基于真实指标完成推理选型。
一、引言:峰值算力不等于真实推理吞吐
在GPU推理选型中,很多团队会先查看白皮书里的峰值算力、显存容量和显存带宽,然后据此判断“这张卡应该能跑多快”。但实际部署后,端到端吞吐常常低于预期。原因并不复杂:在线推理不是一次简单的矩阵乘法基准测试,而是预填充、解码、注意力计算、KV缓存读写、批处理调度、请求排队以及软件栈成熟度共同作用的结果。
本文以两类加速卡为参照,抽象出一套可复用的推理性能评估方法。文中所有模型与数值均为示意,用于演示分析路径,不代表任何特定产品指标。文章重点回答四个问题:
- 实测算力与显存带宽分别能说明什么,不能说明什么;
- 在固定并发下,端到端吞吐如何随负载形态和数值精度变化;
- 如何搭建一套可复现的推理性能基准;
- 解读结果时容易落入哪些误区。
二、测试对象、指标与变量控制
2.1 测试对象与推理接口
本次参考测试覆盖两类加速卡:
- 卡A:数据中心级PCIe插卡,搭载高带宽显存,测试功耗上限为450W;
- 卡B:工作站/服务器级高功耗插卡,搭载大容量显存,测试功耗上限为600W。
所有测试均通过推理服务的HTTP接口发起。该接口采用“messages”对话结构与SSE流式返回,已成为推理服务的事实标准接口形态。主流推理框架、网关以及各类智能编程工具、对话助手客户端通常都兼容这一接口。
统一接口有两个好处:
- 屏蔽底层运行时差异,贴近真实应用调用链;
- 保证不同卡之间的测试口径一致,即固定并发流,统计单位时间内所有请求产生的output tokens总数。
2.2 吞吐、延迟与goodput
仅以“output tokens/s”衡量推理性能并不完整,实际评估至少要同时关注三项指标:
- 吞吐:单位时间内所有请求产出的output tokens总数,反映硬件利用率与单位算力成本;
- 首token延迟(TTFT):从请求发出到收到第一个token的时间,主要由排队等待与预填充耗时构成;
- 每token输出时延(TPOT,也叫ITL):首token之后相邻token的间隔,主要由单步解码耗时构成,直接决定“吐字速度”。
线上业务真正关心的是goodput,即满足延迟约束的请求吞吐。例如,在“P99 TTFT不超过2秒且TPOT不超过50毫秒”的条件下,统计每秒成功请求数。后文表格中的“output tokens/s”在固定并发下测得,服务端此时持续满批运行,可近似看作吞吐上限。
如果需要在脚本中统计goodput,可以在现有结果中增加每个请求的TTFT、TPOT和成功状态,最后计算:
goodput = 满足延迟约束的请求数 / 总测试时长
2.3 负载形态:两种预设各测什么
测试设置两种预设负载:
- 短输入短输出:输入512 tokens、输出512 tokens,下称“短负载”。每步解码都要读取全部权重,更偏decode;
- 长输入短输出:输入8192 tokens、输出1024 tokens,下称“长负载”。首token之前需要处理约8倍长度的提示词,更偏prefill。
这组设计覆盖了在线服务的两类典型场景:前者类似代码补全、短问答;后者类似长文档理解、代码库问答。两类负载对硬件能力的要求并不相同,不能相互替代。
2.4 变量控制:环境对齐决定结论是否可信
横向对比要成立,必须控制变量,至少包括以下几项:
- 测试方式:在统一接口下以固定并发发起请求,示例为128并发,统计全部完成请求的输出token总量除以总耗时;
- 功耗上限:卡A与卡B的测试功耗口径不同,比较绝对值时应同时参考每瓦性能;
- 服务器平台:CPU、内存容量、PCIe代数与拆分方式等都会影响调度与数据搬运;
- 软件栈版本:各卡所用GPU计算软件栈与推理服务容器版本并不一致。因此,相关结论更宜理解为“特定软硬件组合下的对比结果”,不宜直接外推为硬件代际结论;
- 测量口径:请求速率、采样时序、输入输出长度分布以及是否开启前缀缓存等,都应在报告中写明。
三、算力与显存带宽:两个不同维度的能力上限
3.1 实测矩阵乘算力(MAMF)的含义
实测矩阵乘算力(下文简称MAMF)指用矩阵乘法微基准在特定矩阵规模、特定数值精度下测得的“可达FLOPS”。它比厂商标称的峰值算力更接近实际,但仍有两个前提:
- 结果依赖矩阵规模、内存布局以及计算库与驱动版本;
- 不同精度之间不应直接排序。FP8、BF16的表示范围、舍入方式与缩放策略不同,FP4一类低精度格式在不同厂商的实现中也存在差异,例如缩放粒度和反量化方式。
因此,跨精度的算力数字只适合同一实现内部比较相对关系。
本次参考测试的MAMF如下:卡A的BF16为652 TFLOPS,FP8为1,205 TFLOPS;卡B的BF16为419 TFLOPS,FP8为820 TFLOPS。卡A在两种精度下都明显领先,其FP8约为BF16的1.85倍,符合“每数据字节数减半、吞吐约翻倍”的常见规律。
3.2 显存带宽实测的边界
显存带宽指用专门的显存访问微基准测得的有效带宽。卡A实测4,472 GB/s,卡B为1,540 GB/s,前者约为后者的2.90倍。这个倍数仅由4,472除以1,540得出,只适用于该带宽基准;模型推理涉及随机访存、分页KV缓存、集合通信等多种访问模式,实际比例通常与此不同。
显存类型也影响结果:HBM通过宽总线与堆叠结构提供高带宽,高带宽GDDR类显存单引脚速率高,但在同等功耗下总带宽往往较低。卡B提供的显存容量更大,可容纳更大的模型或更长的上下文,这是带宽数字无法体现的维度。
3.3 微基准与在线吞吐为何不等价
MAMF和带宽都是“部件级上限”。在线推理吞吐同时受到模型结构、并行策略、批处理调度和软件栈成熟度的影响。下面用一个简化模型说明二者的作用路径。该模型仅适用于单卡、BF16权重近似,忽略注意力计算、集合通信与调度开销。
记模型参数量为P,单卡运行且以BF16加载权重,每参数2字节;批大小为B;每步新增token的KV缓存字节数为s。每生成一步:
- 权重需要读取约2P字节;
- 新增token的KV缓存需要写入与读取约s字节;
- 一步产出的token数为B。
由此可得:
单步时间 T ≈ (2P + B·s) / 有效显存带宽输出吞吐 X ≈ B / T = B × 有效显存带宽 / (2P + B·s)
如果模型以FP8加载,权重读取量可近似降为约1P字节,但还需考虑缩放因子、反量化开销、算子实现和数值稳定性。因此FP8并不总是简单地把权重字节数减半,实际收益要在目标负载下验证。
由上式可以得到三点推论:
- 批大小为1时,吞吐上限约为“显存带宽 ÷ 权重字节数”,此时算力几乎闲置;
- 批大小增大时,权重读取成本被摊薄到更多请求上,但每步KV缓存流量随B线性增长;
- 解码阶段属于“带宽主导”,prefill阶段则因为同一个权重元素可被序列中大量token复用,计算访存比高,更接近“算力主导”。
这正是两种负载预设的设计依据。卡A在BF16算力上比卡B高约56%,即652除以419;带宽上高约190%,即4472除以1540。若两类负载中卡A的优势差异明显,就为上述判断提供了端到端层面的佐证。
四、单卡128并发实测:短输入与长输入下的吞吐
参考测试在128并发下进行,结果如下。数值仅作示意,单位为output tokens/s。
| 模型与精度 | 短负载(512/512)卡A | 短负载(512/512)卡B | 长负载(8192/1024)卡A | 长负载(8192/1024)卡B |
|---|---|---|---|---|
| 示意模型M1 · FP8 | 7,459 | 3,995 | 1,820 | 823 |
| 示意模型M1 · BF16 | 5,240 | 2,881 | 1,592 | 588 |
M1代表一款总参数约300亿、每token仅激活约30亿参数的混合专家(MoE)编码类模型。
4.1 带宽差距在长输入下被放大
- FP8精度:卡A在短负载下领先约87%,在长负载下领先约2.21倍;
- BF16精度:对应分别领先约82%和约2.71倍。
长负载下领先幅度更大的可能原因有两个:
- 8K级提示词的注意力计算与KV缓存读写带来大量显存流量,高带宽卡优势更明显;
- 输入变长后单步计算量增大,FP8、BF16路径在长矩阵乘上的效率差异被进一步放大。
需要强调的是,这一观察只是基于数据的一种解释。要验证确切原因,应进一步输出prefill阶段耗时、decode阶段耗时,或查看算子级profile,确认瓶颈究竟在注意力、矩阵乘、KV缓存还是调度。
4.2 FP8与BF16的加速比不是常数
在同一张卡上,FP8相对BF16的提升幅度为:
- 卡A:短负载约1.42倍,即7,459除以5,240;长负载约1.14倍,即1,820除以1,592;
- 卡B:短负载约1.39倍,即3,995除以2,881;长负载约1.40倍,即823除以588。
卡A的提升幅度随输入变长而明显收窄,卡B则基本稳定。合理的推测是:短负载下,卡A主要受显存带宽约束,权重减半带来的收益接近线性;长负载下瓶颈转向注意力、调度等环节,量化带来的收益被摊薄。由于各厂商的低精度实现路径不同,“同一精度必有一致收益”的假设并不成立,任何精度结论都应在目标负载下实测。
4.3 其余模型与精度档位需分别评估
参考测试还涵盖以下场景:
- 不同参数规模的稠密模型,以及大规模MoE模型;
- 大模型在多卡张量并行下的表现;
- MXFP4(一种基于分块缩放的4位浮点格式)精度;
- 多模态模型。
由于MoE模型的激活参数远小于总参数,解码开销更多来自专家路由与集合通信;大模型的显存容量又直接决定能否单卡承载。因此,不能由M1的结果线性外推到全部模型。
五、可复现的测试方法:三步搭建基准
5.1 第一步:固定输入长度
分词器会将文本切分为token,而公开基准中的“512”“8192”指的都是token数。英文中1个token通常对应3~4个字符,直接按字符数构造提示词会带来较大偏差。推荐做法如下:
- 通过推理服务的tokenize接口确认实际长度;
- 或使用服务端分词器在本地计算长度;
- 对所有待比较的加速卡使用同一段文本和同一个分词器。
下面的脚本使用本地分词器构造提示词,并用目标分词器或服务端usage统计输出token。
5.2 第二步:固定并发、流式统计输出
脚本依赖Python标准库与分词器库,示例使用transformers。安装方式:
pip install transformers
运行示例:
python bench.py \--url http://127.0.0.1:8080/v1/chat/completions \--model demo-model \--tokenizer /path/to/tokenizer \--concurrency 128 \--input-tokens 512 \--max-tokens 512 \--requests 1024
完整脚本如下:
# bench.py —— 固定并发流式压测,统计 output tokens/s 与 TTFT# 依赖:pip install transformersimport argparseimport jsonimport timeimport urllib.requestfrom concurrent.futures import ThreadPoolExecutorfrom transformers import AutoTokenizerFILLER = "The quick brown fox jumps over the lazy dog. "def build_prompt(tokenizer, n_tokens: int) -> str:"""构造指定token数的提示词,并返回可发送字符串。"""text = ""while True:ids = tokenizer.encode(text, add_special_tokens=False)if len(ids) >= n_tokens:breaktext += FILLERids = tokenizer.encode(text, add_special_tokens=False)[:n_tokens]return tokenizer.decode(ids, skip_special_tokens=False)def run_one(url: str, model: str, prompt: str, max_tokens: int,tokenizer, result: list):"""发起一个流式请求,记录 TTFT 与实际输出token数。"""payload = json.dumps({"model": model,"messages": [{"role": "user", "content": prompt}],"max_tokens": max_tokens,"stream": True,"temperature": 0.0,"stream_options": {"include_usage": True}}).encode()req = urllib.request.Request(url,data=payload,headers={"Content-Type": "application/json"})start = time.perf_counter()ttft = Noneusage_tokens = Nonedelta_tokens = 0with urllib.request.urlopen(req, timeout=600) as resp:for raw in resp: # SSE: 每个事件一行 "data: {...}"line = raw.decode("utf-8", errors="ignore").strip()if not line.startswith("data:"):continuedata = line[5:].strip()if data == "[DONE]":breakchunk = json.loads(data)usage = chunk.get("usage")if usage and usage.get("completion_tokens") is not None:usage_tokens = int(usage["completion_tokens"])choices = chunk.get("choices") or []if not choices:continuedelta = choices[0].get("delta") or {}content = delta.get("content") or ""if ttft is None and content:ttft = time.perf_counter() - start# 若服务未返回usage,则使用目标分词器对增量内容计数。# 这比按字符数近似更可信;若需完全精确,应确保服务返回usage。if usage_tokens is None and content:delta_tokens += len(tokenizer.encode(content, add_special_tokens=False))if choices[0].get("finish_reason"):breaktokens = usage_tokens if usage_tokens is not None else delta_tokensresult.append({"ttft": ttft, "tokens": tokens})def main():ap = argparse.ArgumentParser()ap.add_argument("--url",default="http://127.0.0.1:8080/v1/chat/completions")ap.add_argument("--model", required=True)ap.add_argument("--tokenizer",required=True,help="本地分词器路径或模型名,用于构造提示词与统计token")ap.add_argument("--concurrency", type=int, default=128)ap.add_argument("--input-tokens", type=int, default=512)ap.add_argument("--max-tokens", type=int, default=512)ap.add_argument("--requests", type=int, default=1024)args = ap.parse_args()tokenizer = AutoTokenizer.from_pretrained(args.tokenizer)prompt = build_prompt(tokenizer, args.input_tokens)results = []start = time.perf_counter()# 线程池大小等于并发数,维持固定并发压力。with ThreadPoolExecutor(max_workers=args.concurrency) as pool:futures = []for _ in range(args.requests):futures.append(pool.submit(run_one,args.url,args.model,prompt,args.max_tokens,tokenizer,results))for f in futures:f.result()elapsed = time.perf_counter() - startvalid = [r for r in results if r["tokens"] is not None and r["tokens"] > 0]if not valid:raise SystemExit("没有有效输出token统计")total = sum(r["tokens"] for r in valid)print(f"output tokens/s: {total / elapsed:.1f}")ttfts = sorted(r["ttft"] for r in valid if r["ttft"] is not None)if ttfts:p50 = ttfts[len(ttfts) // 2]p99 = ttfts[min(len(ttfts) - 1, int(len(ttfts) * 0.99))]print(f"TTFT p50={p50:.3f}s p99={p99:.3f}s")else:print("TTFT: 无有效数据")if __name__ == "__main__":main()
该脚本优先使用服务端返回的usage.completion_tokens统计输出token;如果服务未返回usage,则使用目标分词器对流式增量内容计数。相比直接统计字符数,这种方式更接近真实token吞吐。若仍按字符数近似,会显著偏离实际token数,必须在报告中注明。
5.3 第三步:记录环境与配置
每次测试都应记录以下信息:
- 加速卡功耗上限、驱动与计算软件栈版本、推理服务容器版本;
- 张量并行度、KV缓存精度、最大批大小、是否启用分块预填充与前缀缓存;
- 分词器版本与随机种子;
- 服务是否自动添加chat template,以及实际输入token数是否与本地构造一致。
如有需要,还可以在每轮请求之后按泊松分布加入“思考间隔”,以模拟真实用户的到达节奏。
六、常见误区与解读清单
- 把微基准当成端到端性能:MAMF与带宽只代表上限,MoE路由、注意力、调度开销都会使实际吞吐偏离理论值。
- 跨精度直接比较算力:FP4、FP8、BF16的表示与缩放策略不同,不同厂商的实现也有差异,只能在同一定义下横向比较。
- 默认FP8一定带来成倍收益:卡A长负载下FP8相对BF16仅提升约1.14倍,说明量化收益高度依赖负载形态。
- 忽略功耗口径:本次示例中卡A按450W测试,卡B按600W测试。按短负载示例吞吐计算,卡A约为16.6 tokens/s/W,卡B约为6.7 tokens/s/W。该口径仅计入GPU功耗,未计入整机开销,仅供参考。
- 忽略测试覆盖边界:示例数据只覆盖单卡128并发下的单类模型,不能直接推导出多卡并行、更大模型、多模态或更高并发下的结论。
- 用平均延迟代替分位数:少量长提示词就可能显著抬高P99 TTFT,线上容量规划应以分位数为准。
- 不固定输入长度:按字符而非token构造提示词,会让不同卡之间的对比失去意义。
七、结语
加速卡的推理性能不能由单一参数决定。MAMF反映计算能力,显存带宽反映访存能力,而端到端吞吐由负载形态、数值精度、批处理与调度以及软件栈成熟度共同决定。
对于希望快速获取算力资源的团队,可以在主流GPU云平台按需申请不同形态的GPU云服务器或裸金属实例,再按照本文的方法,在目标模型和典型输入输出分布下完成实测。真正可靠的选型,应基于真实业务指标、固定口径、可复现脚本和分位数延迟,而不是纸面参数。

登录后可评论,请前往 登录 或 注册