logo

GPU推理性能评估与选型:带宽、吞吐、脚本

作者:半吊子全栈工匠2026.11.20 06:44浏览量:0

简介:本文以两类数据中心加速卡为参照,讲解如何评估GPU推理性能:读懂实测算力与显存带宽,设计128并发短/长负载,比较FP8与BF16吞吐差异,并给出可运行脚本、变量控制与误区清单,帮助读者基于真实指标完成推理选型。

一、引言:峰值算力不等于真实推理吞吐

在GPU推理选型中,很多团队会先查看白皮书里的峰值算力、显存容量和显存带宽,然后据此判断“这张卡应该能跑多快”。但实际部署后,端到端吞吐常常低于预期。原因并不复杂:在线推理不是一次简单的矩阵乘法基准测试,而是预填充、解码、注意力计算、KV缓存读写、批处理调度、请求排队以及软件栈成熟度共同作用的结果。

本文以两类加速卡为参照,抽象出一套可复用的推理性能评估方法。文中所有模型与数值均为示意,用于演示分析路径,不代表任何特定产品指标。文章重点回答四个问题:

  1. 实测算力与显存带宽分别能说明什么,不能说明什么;
  2. 在固定并发下,端到端吞吐如何随负载形态和数值精度变化;
  3. 如何搭建一套可复现的推理性能基准;
  4. 解读结果时容易落入哪些误区。

二、测试对象、指标与变量控制

2.1 测试对象与推理接口

本次参考测试覆盖两类加速卡:

  • 卡A:数据中心级PCIe插卡,搭载高带宽显存,测试功耗上限为450W;
  • 卡B:工作站/服务器级高功耗插卡,搭载大容量显存,测试功耗上限为600W。

所有测试均通过推理服务的HTTP接口发起。该接口采用“messages”对话结构与SSE流式返回,已成为推理服务的事实标准接口形态。主流推理框架、网关以及各类智能编程工具、对话助手客户端通常都兼容这一接口。

统一接口有两个好处:

  • 屏蔽底层运行时差异,贴近真实应用调用链;
  • 保证不同卡之间的测试口径一致,即固定并发流,统计单位时间内所有请求产生的output tokens总数。

2.2 吞吐、延迟与goodput

仅以“output tokens/s”衡量推理性能并不完整,实际评估至少要同时关注三项指标:

  • 吞吐:单位时间内所有请求产出的output tokens总数,反映硬件利用率与单位算力成本;
  • 首token延迟(TTFT):从请求发出到收到第一个token的时间,主要由排队等待与预填充耗时构成;
  • 每token输出时延(TPOT,也叫ITL):首token之后相邻token的间隔,主要由单步解码耗时构成,直接决定“吐字速度”。

线上业务真正关心的是goodput,即满足延迟约束的请求吞吐。例如,在“P99 TTFT不超过2秒且TPOT不超过50毫秒”的条件下,统计每秒成功请求数。后文表格中的“output tokens/s”在固定并发下测得,服务端此时持续满批运行,可近似看作吞吐上限。

如果需要在脚本中统计goodput,可以在现有结果中增加每个请求的TTFT、TPOT和成功状态,最后计算:

  1. goodput = 满足延迟约束的请求数 / 总测试时长

2.3 负载形态:两种预设各测什么

测试设置两种预设负载:

  • 短输入短输出:输入512 tokens、输出512 tokens,下称“短负载”。每步解码都要读取全部权重,更偏decode;
  • 长输入短输出:输入8192 tokens、输出1024 tokens,下称“长负载”。首token之前需要处理约8倍长度的提示词,更偏prefill。

这组设计覆盖了在线服务的两类典型场景:前者类似代码补全、短问答;后者类似长文档理解、代码库问答。两类负载对硬件能力的要求并不相同,不能相互替代。

2.4 变量控制:环境对齐决定结论是否可信

横向对比要成立,必须控制变量,至少包括以下几项:

  • 测试方式:在统一接口下以固定并发发起请求,示例为128并发,统计全部完成请求的输出token总量除以总耗时;
  • 功耗上限:卡A与卡B的测试功耗口径不同,比较绝对值时应同时参考每瓦性能;
  • 服务器平台:CPU、内存容量、PCIe代数与拆分方式等都会影响调度与数据搬运;
  • 软件栈版本:各卡所用GPU计算软件栈与推理服务容器版本并不一致。因此,相关结论更宜理解为“特定软硬件组合下的对比结果”,不宜直接外推为硬件代际结论;
  • 测量口径:请求速率、采样时序、输入输出长度分布以及是否开启前缀缓存等,都应在报告中写明。

三、算力与显存带宽:两个不同维度的能力上限

3.1 实测矩阵乘算力(MAMF)的含义

实测矩阵乘算力(下文简称MAMF)指用矩阵乘法微基准在特定矩阵规模、特定数值精度下测得的“可达FLOPS”。它比厂商标称的峰值算力更接近实际,但仍有两个前提:

  • 结果依赖矩阵规模、内存布局以及计算库与驱动版本;
  • 不同精度之间不应直接排序。FP8、BF16的表示范围、舍入方式与缩放策略不同,FP4一类低精度格式在不同厂商的实现中也存在差异,例如缩放粒度和反量化方式。

因此,跨精度的算力数字只适合同一实现内部比较相对关系。

本次参考测试的MAMF如下:卡A的BF16为652 TFLOPS,FP8为1,205 TFLOPS;卡B的BF16为419 TFLOPS,FP8为820 TFLOPS。卡A在两种精度下都明显领先,其FP8约为BF16的1.85倍,符合“每数据字节数减半、吞吐约翻倍”的常见规律。

3.2 显存带宽实测的边界

显存带宽指用专门的显存访问微基准测得的有效带宽。卡A实测4,472 GB/s,卡B为1,540 GB/s,前者约为后者的2.90倍。这个倍数仅由4,472除以1,540得出,只适用于该带宽基准;模型推理涉及随机访存、分页KV缓存、集合通信等多种访问模式,实际比例通常与此不同。

显存类型也影响结果:HBM通过宽总线与堆叠结构提供高带宽,高带宽GDDR类显存单引脚速率高,但在同等功耗下总带宽往往较低。卡B提供的显存容量更大,可容纳更大的模型或更长的上下文,这是带宽数字无法体现的维度。

3.3 微基准与在线吞吐为何不等价

MAMF和带宽都是“部件级上限”。在线推理吞吐同时受到模型结构、并行策略、批处理调度和软件栈成熟度的影响。下面用一个简化模型说明二者的作用路径。该模型仅适用于单卡、BF16权重近似,忽略注意力计算、集合通信与调度开销。

记模型参数量为P,单卡运行且以BF16加载权重,每参数2字节;批大小为B;每步新增token的KV缓存字节数为s。每生成一步:

  • 权重需要读取约2P字节;
  • 新增token的KV缓存需要写入与读取约s字节;
  • 一步产出的token数为B。

由此可得:

  1. 单步时间 T ≈ (2P + B·s) / 有效显存带宽
  2. 输出吞吐 X ≈ B / T = B × 有效显存带宽 / (2P + B·s)

如果模型以FP8加载,权重读取量可近似降为约1P字节,但还需考虑缩放因子、反量化开销、算子实现和数值稳定性。因此FP8并不总是简单地把权重字节数减半,实际收益要在目标负载下验证。

由上式可以得到三点推论:

  1. 批大小为1时,吞吐上限约为“显存带宽 ÷ 权重字节数”,此时算力几乎闲置;
  2. 批大小增大时,权重读取成本被摊薄到更多请求上,但每步KV缓存流量随B线性增长;
  3. 解码阶段属于“带宽主导”,prefill阶段则因为同一个权重元素可被序列中大量token复用,计算访存比高,更接近“算力主导”。

这正是两种负载预设的设计依据。卡A在BF16算力上比卡B高约56%,即652除以419;带宽上高约190%,即4472除以1540。若两类负载中卡A的优势差异明显,就为上述判断提供了端到端层面的佐证。

四、单卡128并发实测:短输入与长输入下的吞吐

参考测试在128并发下进行,结果如下。数值仅作示意,单位为output tokens/s。

模型与精度 短负载(512/512)卡A 短负载(512/512)卡B 长负载(8192/1024)卡A 长负载(8192/1024)卡B
示意模型M1 · FP8 7,459 3,995 1,820 823
示意模型M1 · BF16 5,240 2,881 1,592 588

M1代表一款总参数约300亿、每token仅激活约30亿参数的混合专家(MoE)编码类模型。

4.1 带宽差距在长输入下被放大

  • FP8精度:卡A在短负载下领先约87%,在长负载下领先约2.21倍;
  • BF16精度:对应分别领先约82%和约2.71倍。

长负载下领先幅度更大的可能原因有两个:

  • 8K级提示词的注意力计算与KV缓存读写带来大量显存流量,高带宽卡优势更明显;
  • 输入变长后单步计算量增大,FP8、BF16路径在长矩阵乘上的效率差异被进一步放大。

需要强调的是,这一观察只是基于数据的一种解释。要验证确切原因,应进一步输出prefill阶段耗时、decode阶段耗时,或查看算子级profile,确认瓶颈究竟在注意力、矩阵乘、KV缓存还是调度。

4.2 FP8与BF16的加速比不是常数

在同一张卡上,FP8相对BF16的提升幅度为:

  • 卡A:短负载约1.42倍,即7,459除以5,240;长负载约1.14倍,即1,820除以1,592;
  • 卡B:短负载约1.39倍,即3,995除以2,881;长负载约1.40倍,即823除以588。

卡A的提升幅度随输入变长而明显收窄,卡B则基本稳定。合理的推测是:短负载下,卡A主要受显存带宽约束,权重减半带来的收益接近线性;长负载下瓶颈转向注意力、调度等环节,量化带来的收益被摊薄。由于各厂商的低精度实现路径不同,“同一精度必有一致收益”的假设并不成立,任何精度结论都应在目标负载下实测。

4.3 其余模型与精度档位需分别评估

参考测试还涵盖以下场景:

  • 不同参数规模的稠密模型,以及大规模MoE模型;
  • 大模型在多卡张量并行下的表现;
  • MXFP4(一种基于分块缩放的4位浮点格式)精度;
  • 多模态模型。

由于MoE模型的激活参数远小于总参数,解码开销更多来自专家路由与集合通信;大模型的显存容量又直接决定能否单卡承载。因此,不能由M1的结果线性外推到全部模型。

五、可复现的测试方法:三步搭建基准

5.1 第一步:固定输入长度

分词器会将文本切分为token,而公开基准中的“512”“8192”指的都是token数。英文中1个token通常对应3~4个字符,直接按字符数构造提示词会带来较大偏差。推荐做法如下:

  • 通过推理服务的tokenize接口确认实际长度;
  • 或使用服务端分词器在本地计算长度;
  • 对所有待比较的加速卡使用同一段文本和同一个分词器。

下面的脚本使用本地分词器构造提示词,并用目标分词器或服务端usage统计输出token。

5.2 第二步:固定并发、流式统计输出

脚本依赖Python标准库与分词器库,示例使用transformers。安装方式:

  1. pip install transformers

运行示例:

  1. python bench.py \
  2. --url http://127.0.0.1:8080/v1/chat/completions \
  3. --model demo-model \
  4. --tokenizer /path/to/tokenizer \
  5. --concurrency 128 \
  6. --input-tokens 512 \
  7. --max-tokens 512 \
  8. --requests 1024

完整脚本如下:

  1. # bench.py —— 固定并发流式压测,统计 output tokens/s 与 TTFT
  2. # 依赖:pip install transformers
  3. import argparse
  4. import json
  5. import time
  6. import urllib.request
  7. from concurrent.futures import ThreadPoolExecutor
  8. from transformers import AutoTokenizer
  9. FILLER = "The quick brown fox jumps over the lazy dog. "
  10. def build_prompt(tokenizer, n_tokens: int) -> str:
  11. """构造指定token数的提示词,并返回可发送字符串。"""
  12. text = ""
  13. while True:
  14. ids = tokenizer.encode(text, add_special_tokens=False)
  15. if len(ids) >= n_tokens:
  16. break
  17. text += FILLER
  18. ids = tokenizer.encode(text, add_special_tokens=False)[:n_tokens]
  19. return tokenizer.decode(ids, skip_special_tokens=False)
  20. def run_one(url: str, model: str, prompt: str, max_tokens: int,
  21. tokenizer, result: list):
  22. """发起一个流式请求,记录 TTFT 与实际输出token数。"""
  23. payload = json.dumps({
  24. "model": model,
  25. "messages": [{"role": "user", "content": prompt}],
  26. "max_tokens": max_tokens,
  27. "stream": True,
  28. "temperature": 0.0,
  29. "stream_options": {"include_usage": True}
  30. }).encode()
  31. req = urllib.request.Request(
  32. url,
  33. data=payload,
  34. headers={"Content-Type": "application/json"}
  35. )
  36. start = time.perf_counter()
  37. ttft = None
  38. usage_tokens = None
  39. delta_tokens = 0
  40. with urllib.request.urlopen(req, timeout=600) as resp:
  41. for raw in resp: # SSE: 每个事件一行 "data: {...}"
  42. line = raw.decode("utf-8", errors="ignore").strip()
  43. if not line.startswith("data:"):
  44. continue
  45. data = line[5:].strip()
  46. if data == "[DONE]":
  47. break
  48. chunk = json.loads(data)
  49. usage = chunk.get("usage")
  50. if usage and usage.get("completion_tokens") is not None:
  51. usage_tokens = int(usage["completion_tokens"])
  52. choices = chunk.get("choices") or []
  53. if not choices:
  54. continue
  55. delta = choices[0].get("delta") or {}
  56. content = delta.get("content") or ""
  57. if ttft is None and content:
  58. ttft = time.perf_counter() - start
  59. # 若服务未返回usage,则使用目标分词器对增量内容计数。
  60. # 这比按字符数近似更可信;若需完全精确,应确保服务返回usage。
  61. if usage_tokens is None and content:
  62. delta_tokens += len(
  63. tokenizer.encode(content, add_special_tokens=False)
  64. )
  65. if choices[0].get("finish_reason"):
  66. break
  67. tokens = usage_tokens if usage_tokens is not None else delta_tokens
  68. result.append({"ttft": ttft, "tokens": tokens})
  69. def main():
  70. ap = argparse.ArgumentParser()
  71. ap.add_argument(
  72. "--url",
  73. default="http://127.0.0.1:8080/v1/chat/completions"
  74. )
  75. ap.add_argument("--model", required=True)
  76. ap.add_argument(
  77. "--tokenizer",
  78. required=True,
  79. help="本地分词器路径或模型名,用于构造提示词与统计token"
  80. )
  81. ap.add_argument("--concurrency", type=int, default=128)
  82. ap.add_argument("--input-tokens", type=int, default=512)
  83. ap.add_argument("--max-tokens", type=int, default=512)
  84. ap.add_argument("--requests", type=int, default=1024)
  85. args = ap.parse_args()
  86. tokenizer = AutoTokenizer.from_pretrained(args.tokenizer)
  87. prompt = build_prompt(tokenizer, args.input_tokens)
  88. results = []
  89. start = time.perf_counter()
  90. # 线程池大小等于并发数,维持固定并发压力。
  91. with ThreadPoolExecutor(max_workers=args.concurrency) as pool:
  92. futures = []
  93. for _ in range(args.requests):
  94. futures.append(
  95. pool.submit(
  96. run_one,
  97. args.url,
  98. args.model,
  99. prompt,
  100. args.max_tokens,
  101. tokenizer,
  102. results
  103. )
  104. )
  105. for f in futures:
  106. f.result()
  107. elapsed = time.perf_counter() - start
  108. valid = [r for r in results if r["tokens"] is not None and r["tokens"] > 0]
  109. if not valid:
  110. raise SystemExit("没有有效输出token统计")
  111. total = sum(r["tokens"] for r in valid)
  112. print(f"output tokens/s: {total / elapsed:.1f}")
  113. ttfts = sorted(r["ttft"] for r in valid if r["ttft"] is not None)
  114. if ttfts:
  115. p50 = ttfts[len(ttfts) // 2]
  116. p99 = ttfts[min(len(ttfts) - 1, int(len(ttfts) * 0.99))]
  117. print(f"TTFT p50={p50:.3f}s p99={p99:.3f}s")
  118. else:
  119. print("TTFT: 无有效数据")
  120. if __name__ == "__main__":
  121. main()

该脚本优先使用服务端返回的usage.completion_tokens统计输出token;如果服务未返回usage,则使用目标分词器对流式增量内容计数。相比直接统计字符数,这种方式更接近真实token吞吐。若仍按字符数近似,会显著偏离实际token数,必须在报告中注明。

5.3 第三步:记录环境与配置

每次测试都应记录以下信息:

  • 加速卡功耗上限、驱动与计算软件栈版本、推理服务容器版本;
  • 张量并行度、KV缓存精度、最大批大小、是否启用分块预填充与前缀缓存;
  • 分词器版本与随机种子;
  • 服务是否自动添加chat template,以及实际输入token数是否与本地构造一致。

如有需要,还可以在每轮请求之后按泊松分布加入“思考间隔”,以模拟真实用户的到达节奏。

六、常见误区与解读清单

  1. 把微基准当成端到端性能:MAMF与带宽只代表上限,MoE路由、注意力、调度开销都会使实际吞吐偏离理论值。
  2. 跨精度直接比较算力:FP4、FP8、BF16的表示与缩放策略不同,不同厂商的实现也有差异,只能在同一定义下横向比较。
  3. 默认FP8一定带来成倍收益:卡A长负载下FP8相对BF16仅提升约1.14倍,说明量化收益高度依赖负载形态。
  4. 忽略功耗口径:本次示例中卡A按450W测试,卡B按600W测试。按短负载示例吞吐计算,卡A约为16.6 tokens/s/W,卡B约为6.7 tokens/s/W。该口径仅计入GPU功耗,未计入整机开销,仅供参考。
  5. 忽略测试覆盖边界:示例数据只覆盖单卡128并发下的单类模型,不能直接推导出多卡并行、更大模型、多模态或更高并发下的结论。
  6. 用平均延迟代替分位数:少量长提示词就可能显著抬高P99 TTFT,线上容量规划应以分位数为准。
  7. 不固定输入长度:按字符而非token构造提示词,会让不同卡之间的对比失去意义。

七、结语

加速卡的推理性能不能由单一参数决定。MAMF反映计算能力,显存带宽反映访存能力,而端到端吞吐由负载形态、数值精度、批处理与调度以及软件栈成熟度共同决定。

对于希望快速获取算力资源的团队,可以在主流GPU云平台按需申请不同形态的GPU云服务器或裸金属实例,再按照本文的方法,在目标模型和典型输入输出分布下完成实测。真正可靠的选型,应基于真实业务指标、固定口径、可复现脚本和分位数延迟,而不是纸面参数。

发表评论

活动