logo

本地大模型推理速度tokens/s是什么与如何提升

作者:问题终结者2026.11.18 12:10浏览量:0

简介:本地部署大模型时,tokens/s是衡量生成速度的核心指标。本文系统定义tokens/s的含义,区分预填充与逐词元解码两个阶段的性能特征,解析显存带宽、权重量化、KV Cache、上下文长度与推测解码等影响因素,结合消费级独显、专业级显卡、核显统一内存等典型平台的参考数据与量化质量指标,给出硬件选型与参数配置的评估方法。

一、概念定义:tokens/s到底在度量什么

定义:tokens/s(token/s,社区常写作tps,意为每秒词元数)指大语言模型在单位时间内生成或处理的词元(token)数量,是衡量模型推理速度最基本的指标。

词元是分词器(tokenizer)对文本切分后得到的最小处理单位,并不等同于字或词。英文大致3~4个字符对应一个词元,一个词元约相当于0.75个英文单词;中文经过BPE类分词后,常用字多对应1个左右的词元,生僻字和长词会被拆成多个词元;代码中的符号、缩进和变量名往往切得更碎。因此换算成阅读速度时,不能简单地把tps乘以1当作每秒输出的汉字数。

理解tokens/s,关键在于把它放到推理的两个阶段中区分看待:

对比维度 预填充(Prefill,也叫提示处理) 逐词元解码(Decode,也叫生成阶段)
处理方式 将全部输入词元一次性并行送入模型 每次只处理新生成的1个词元
性能瓶颈 算力(每秒浮点运算量) 显存带宽与显存容量
输出指标 提示处理速度(词元/秒)、首词元延迟 生成速度(词元/秒)
用户感知 “点了发送后多久开始回答” “回答逐字蹦出的快慢”
  • 生成速度:生成阶段每秒产出的词元数,就是日常所说的“多少t/s”。它是交互体验的主要决定因素,也是原文中各类硬件对比的度量口径。
  • 提示处理速度与首词元延迟:同一块显卡处理长输入的并行能力远强于逐个生成词元的能力,所以提示处理速度通常比生成速度高出一个数量级。首词元延迟指从发出请求到收到第一个词元的时间,主要取决于预填充速度。
  • 整体吞吐与服务吞吐:服务端在多个请求之间切换执行时,吞吐由批处理大小、并发数、上下文长度和调度策略共同决定,远高于单请求的生成速度。比较配置时,先统一“速度口径”再下结论。

此外,原文中的“开启轻度思考(low轻度思考)”影响的是输出长度。模型先生成一段推理过程再给出答案,每个词元的速度基本不变,但总响应时间会拉长。比较不同思考强度下的体验时,应把首词元延迟、生成速度和端到端耗时分开评估。

二、背景与价值:为什么需要关注生成速度

大语言模型的推理计算可分为训练与推理两大类,推理又可分为云端服务与本地部署两条路径。近年来,开源模型规模不断下探,量化工具与推理引擎日趋成熟,消费级显卡显存容量提升到16GB量级,处理器集成核显开始支持大容量统一内存。27B(约270亿参数)级别的高能力模型进入个人工作站变得可行,“在本地跑多大的模型、能跑多快”随之成为模型选型中的常见话题。

tokens/s直接决定了几类使用体验:

  1. 交互流畅度:低于每秒约10个词元时,逐字输出明显卡顿,对话退化为“等待一次完整结果”。达到每秒20~30个词元接近正常人阅读速度,超过每秒40个词元时人眼往往跟不上输出。
  2. 任务可行性:代码理解、文档摘要、批量文本处理等长输出任务的耗时与tokens/s近似成反比。速度减半,任务时间翻倍,长上下文任务对此尤其敏感。
  3. 硬件投资依据:解码速度主要受显存带宽与权重位宽约束,速度与算力核心数量的关系相对较弱。先弄清速度模型,可以判断“加预算买更快的卡”还是“买显存更大的卡”更划算。
  4. 隐私与离线要求:在数据不出本地的场景下,本地推理速度能否满足需求,往往直接决定方案是否可行。

需要明确的是,tokens/s只衡量“快慢”,不衡量“准不准”。速度提升若伴随量化精度下降,结果可能“快而错”。评估本地部署方案时,需要把速度(tokens/s)、质量(模型与量化精度)、内存容量(能装下多长上下文)三者放在一起权衡。

三、核心组成:决定tokens/s的关键要素

3.1 显存容量与显存带宽

显存容量决定“能否跑得起来”,显存带宽决定“能跑多快”。本地推理的总显存需求可近似表示为:

总显存需求 ≈ 模型权重 + KV Cache + 运行时开销

  • 模型权重:大小约等于“参数量 × 每个参数的等效比特数”。27B模型在Q3档位约12GB,Q4档位约15GB,Q8档位约28GB。
  • KV Cache:存储注意力机制中历史词元的键(Key)和值(Value)。它随上下文长度和并发数增长,长上下文场景下往往成为容量的决定性因素。
  • 运行时开销:包括激活缓冲、计算图、图形驱动上下文占用等,通常需要预留数GB余量。

典型硬件的大致规格如下(均为公开的基础参数,实际以具体型号为准):

平台类别 显存/内存 带宽量级 功耗量级
消费级独显(16GB档) 16GB GDDR显存 约640GB/s 约220W
专业级显卡(32GB档) 32GB显存 约640GB/s 约300W
轻薄本核显+统一内存 与内存共享(如32GB/64GB) 通常数十GB/s 整机功耗很低
支持大容量内存的桌面平台 128GB及以上内存 受内存代次与通道数限制 取决于内存配置

上述两款独显产品采用同款GPU核心,核心计算单元与640GB/s级别的显存带宽一致。差异主要在显存容量(16GB与32GB)、功耗设计以及面向专业场景的驱动与稳定性支持。对单请求解码而言,二者速度接近;32GB容量带来的价值,是能够承载Q8乃至无损档位的权重和更长的上下文。

3.2 权重量化方案

量化是把模型权重(以及部分推理过程中的数值)从高精度表示压缩到低比特表示的技术,主流做法包括:

  • GPTQ、AWQ等训练后量化算法;
  • 社区常用的“k-quant”体系,如Q4_K_M、Q6_K、Q8_0,以及面向特定结构设计的扩展档位(如某些Q3、Q4、Q6、Q8扩展方案)。

量化收益明显:显存占用近似按比例下降,带宽受限的解码速度同步提升,还让显存有限的设备能够运行更大的模型。

量化也有代价。衡量质量损失时,社区常用Top-1一致率(Top-1 Agreement):把量化模型与高精度参考模型在相同输入上的预测逐一比较,统计下一个词元的首选预测保持一致的比例。代表性档位大致如下:

量化档位 等效位宽(约) 27B权重体积(约) 640GB/s平台理论解码值(约) Top-1一致率 典型评价
Q8扩展档(K_XL) 8.x bit 28GB以上 22~24 t/s 约99% 几乎无损,质量损失约1%
Q6扩展档(K_XL) 6.x bit 22GB左右 约29 t/s 约98% 轻微损失,常被类比为8位浮点精度
Q4扩展档(K_M/K_XL) 4.x bit 15GB左右 约43 t/s 约96% 社区使用最广泛
Q3扩展档(K_XL) 3.x bit 11~12GB 约54 t/s 约92% 质量损失约8%,勉强可用

注意:Q8扩展档与Q6扩展档在带宽相同的平台上解码速度接近。二者真正的区别在于显存容量:Q6适合16GB显卡“把显存用满”,Q8则需要32GB级单卡或双卡,才能与长上下文同时兼顾。

3.3 上下文长度与KV Cache

KV Cache的大小由以下因素决定:模型层数、KV头数与每个头的维度、每个词元每个数值的字节数(精度)、上下文长度和并发数。它随上下文长度近似线性增长。

以27B模型、单请求为参考(具体数值依模型结构而定):

上下文长度 半精度KV Cache 8位量化KV Cache
16KB 约1GB 约0.5GB
256KB 约16GB 约8GB

这组数字能解释几个常见现象:

  • 16KB上下文时,KV Cache相对权重体积微不足道;256KB上下文时,它相当于再装下一份Q8档位的模型权重。
  • KV Cache量化到8位可把占用减半,但解码时更多KV数据需要实时读取,带宽压力增大,长上下文下生成速度可能略降。
  • 同一模型上,短上下文的生成速度通常高于满上下文。因为每个词元都要重新读取全部KV Cache,上下文越长,这部分开销越大。

3.4 解码加速策略

  • 推测解码:用轻量的“草稿”来源先一次性猜出若干候选词元,再让主模型用一次前向计算并行校验。命中的候选直接采纳,首个不匹配处被纠正。
  • 多词元预测式草稿头(MTP):草稿来源是主模型自带的小型预测头,几乎不增加显存占用,还能利用主模型的表示。草稿数通常不宜过大,因为草稿越长,被拒绝的概率越高,白算的开销也越大。
  • Flash Attention类融合注意力:减少显存读写次数,对长上下文的预填充与解码都有帮助。
  • 批处理与并发:多请求共享一次权重读取,服务端总吞吐显著提升,但单请求延迟会随之增加。

四、工作原理:tokens/s从哪来、到哪去

4.1 单请求解码速度的“带宽上限模型”

生成阶段每输出一个词元,模型的每一个权重通常都至少参与一次计算,并需要从显存完整读取一遍(MoE等稀疏结构只激活部分专家,例外另述)。由此得到工程上广泛使用的估算公式:

  1. 单请求解码速度(t/s) ≈ 有效显存带宽(GB/s) ÷ 每词元需读取的数据量(GB)
  2. 每词元需读取的数据量 ≈ 模型权重 + 当次读取的KV Cache + 其他开销

这一模型揭示了几个重要规律:

  • 解码阶段受带宽而非算力核心数量制约。核心数翻倍、带宽不变时,单请求速度提升有限;纹理填充率、着色器算力等指标对生成速度影响很小。
  • 速度几乎与权重位宽成反比:位宽从Q6降到Q4,理论速度提升约50%。
  • 前缀缓存能显著改善交互体验:当上下文前部固定不变时(如系统提示词、待分析的同一份代码),引擎可以复用已算好的KV Cache,只处理新增部分。首词元延迟大幅降低,这一效果在多轮对话中尤其明显。

代入实际数据验证:

  • 以Q4档位约4.5比特等效位宽计算,每词元需读取约15GB。在640GB/s带宽下,理论值约为640÷15≈43 t/s。
  • 在功耗与散热条件相同时,一台笔记本处理器核显加统一内存的平台(带宽通常在百GB/s以内,且需与处理器其他部件共享)运行Q4档位27B模型,实测速度刚好达到约10 t/s,与上述公式的量级判断一致。

需要说明的局限:

  1. 公式给出的是理论上限,实际速度通常低于该值。运行时的激活缓冲、KV Cache读取、驱动开销都会占用带宽。
  2. 当推理服务同时处理多个请求,或在128GB级大容量内存平台上以批处理方式评估时,瓶颈会转向算力与缓存效率。此时公式不再适用,需要实测总吞吐。
  3. 平台配置变化会直接改变带宽上限。有用户把128GB的DDR3内存平台“降级”为40GB的DDR4平台后,DDR4虽单条速率更高,但容量下降,可承载的上下文与批处理规模也随之受限。带宽与容量此消彼长,速度也会随之变化。

4.2 一次完整请求的性能流程

以“让模型理解一个经过PHP代码混淆工具处理的函数”为例,一次请求的性能表现可分为以下环节:

  1. 客户端提交请求(问题 + 函数代码 + 系统提示)
  2. │
  3. ▼
  4. ① 预填充:并行处理全部输入词元 ──► 决定首词元延迟(算力瓶颈)
  5. │
  6. ▼
  7. ② 生成阶段:逐个输出词元
  8. ┌──────────────────────────────────────────────┐
  9. │ 思考模式(可选):先输出推理过程 │
  10. │ │ │
  11. │ ▼ │
  12. │ 草稿头提出N个候选词元 → 主模型并行校验 │
  13. │ │ 命中则直接采纳,未命中则纠正 │
  14. │ ▼ │
  15. │ 每个词元读取:权重 + KV Cache ──► 带宽瓶颈 │
  16. └──────────────────────────────────────────────┘
  17. │
  18. ▼
  19. ③ 返回结果:客户端按tps呈现“打字机”效果

源码类输入的分词有其特点:缩进、括号、变量名可能被切成较细碎的词元,同样长度的代码占用的词元数通常多于自然语言。因此在代码理解场景中,“每秒多少个词元”换算成的“每秒多少行代码”会偏低。

4.3 典型推理服务的配置维度

本地推理通常通过“推理引擎的服务化组件”以HTTP接口对外提供能力。这类组件普遍暴露以下配置项(参数名以通用含义描述,具体以所用引擎文档为准):

  1. # 示意配置(仅为通用示例,参数名并非任何特定工具的真实参数)
  2. model_path: "./models/27b-4bit-weights" # 模型权重文件路径
  3. gpu_layers: all # 卸载到GPU的层数,all表示全部
  4. context_size: 16384 # 上下文窗口长度
  5. batch_size: 512 # 单批处理的词元数
  6. flash_attention: true # 融合注意力优化
  7. kv_cache_quantization: none # KV Cache量化:none / 8bit 等
  8. reasoning: enabled # 是否开启思考(推理)模式
  9. reasoning_effort: low # 思考强度:low / medium / high
  10. mmap: false # 是否内存映射权重;关闭可确保权重完整驻留显存
  11. threads: 2 # CPU参与算子执行的线程数
  12. parallel: 1 // 并发槽位数量
  13. speculative:
  14. draft_type: mtp # 草稿来源:多词元预测头
  15. draft_n_max: 2 # 每轮最多提出的候选词元数

对解码速度影响最直接的几项:

  • gpu_layers:设为全部卸载时权重常驻显存,避免每步都在CPU内存与显存之间搬运,这是独显平台跑出高速度的前提。部分卸载时,未卸载的层会拖慢每一步,速度大幅下降。
  • mmap关闭:防止操作系统按需换入权重页造成停顿,确保性能稳定。
  • flash_attention开启:长上下文场景受益明显。
  • speculative草稿数:适度增大可提升命中率,过大则因草稿被拒绝而浪费计算。

软件栈的影响:一位用户的实测环境是主流Linux发行版的长期支持版,配合较新版本的内核与开源图形驱动栈,并选择跨平台GPU计算接口作为后端。在显卡统一编址架构(统一内存)的平台上,这类图形/计算接口在部分环境下对集成显卡的支持成熟度与性能表现较好。同一硬件在不同驱动、不同后端下速度可能有差异,这也是社区实测数据的参考意义所在。

五、典型场景与参考数据

5.1 场景一:16GB消费级独显上的3比特档位

配置:16GB显存、640GB/s带宽的消费级独显(约220W)+主流Linux长期支持版+较新内核与开源驱动+某跨平台计算接口后端;27B模型Q3_K_XL档位;16KB上下文,KV Cache约1GB;全部层卸载、关闭内存映射、开启融合注意力、启用多词元预测草稿(最多2个)、并发为1、轻度思考。

结果:生成速度约58 t/s。按带宽上限估算,理论值约54 t/s,实测略高,说明草稿预测在该任务上有一定命中率。

任务特点:被分析的PHP函数经过了代码混淆处理,变量名被替换为无意义字符串,控制流被打散,还可能存在字符串编码与动态执行等手法。这类任务有几个特征:

  • 解码质量对结果影响大,模型须多步“还原”逻辑,局部判断错误会沿推理链放大;
  • 输入通常包含较长代码片段,同时开启轻度思考,输出包含一段推理过程。

评价:58 t/s已明显超过人阅读速度,体验流畅。但该档位的Top-1一致率约为92%,在复杂推理链任务上存在“输出很快、结论需复核”的风险。对 correctness 要求高的场景,应结合结果校验,或在显存允许时改用更高档位。

5.2 场景二:32GB专业级显卡的Q4与Q6档位

配置:32GB显存、640GB/s带宽的专业级显卡(约300W),与上一场景采用同款GPU核心。

结果:

  • Q4档位(约15GB):生成速度50+ t/s;
  • Q6档位(约22GB):生成速度40+ t/s。

分析:二者速度比约为1.25,与15GB和22GB的体积比(约1.47)基本对应,再次印证带宽上限模型。速度从约50 t/s降到约40 t/s,换来Top-1一致率从约96%提升到约98%,是显存充裕时的合理取舍。

预算视角:若在1万元左右的预算内选择单卡,32GB专业卡加Q4档位,即可在16KB~64KB上下文下稳定获得50+ t/s,性价比可观。

双卡配置:双卡32GB级专业卡合计64GB显存,足以运行几乎无损的Q8档位(约28GB)。256KB上下文的8位KV Cache约8GB,加上运行时开销后仍有富余,属于“显存富裕型”配置。

注意:消费级显卡在部分驱动环境下可能被限制大规模数值运算类负载。推理场景以矩阵乘为主,通常不受影响,但选购前应确认目标软件栈对具体型号的支持情况。

5.3 场景三:处理器核显+统一内存

配置:轻薄本处理器(365级别)的集成核显(880M)+统一内存;27B模型Q4_K_M档位。

结果:生成速度刚好达到约10 tps。

分析:

  • 这类平台的带宽通常在百GB/s以内,且需与处理器其他部件共享,因此带宽与显存容量同时受限。
  • 统一内存的优势在于容量可按内存条灵活配置,不需要依赖显存容量,但速度天花板明显较低。
  • 10 t/s恰好卡在“可用性临界值”附近:短问题尚可接受,长输出会明显拉长等待时间。

移动平台的线性外推:部分评测者观察到,某移动处理器系列的GPU性能与该核显处于同一量级,于是按GPU核心数线性外推(示意,不代表任何具体产品):

配置(示意) GPU核心数 估算生成速度
基础版 10核 约10 t/s
进阶版 20核 约20 t/s
高性能版 40核 约40 t/s
旗舰版 80核 约80 t/s

这种外推只适合做粗略预期,原因有三:

  • 更多核心通常伴随更高带宽,但带宽不会与核心数等比例增长,实际速度一般低于线性值;
  • 统一内存受功耗预算约束,持续负载下可能降频;
  • 软件栈成熟度与内存容量配置同样会影响实测结果。

5.4 场景四:超长上下文与大容量内存平台

配置:一位用户将平台从40GB DDR4内存降级为128GB DDR3内存,改用某开源27B模型的高速版本(flash-next)Q4扩展档位,并采用社区推理引擎的启动脚本,由AI协助编写。

结果:512K上下文,最高速度约21 t/s。

分析:

  1. 模型变体影响显著:“flash-next”这类变体通常采用稀疏专家等设计,每个词元只激活部分参数,单步读取的数据量远小于同等总参数量的稠密模型,因此速度较高。
  2. 上下文影响速度:同一模型在16KB上下文时速度可达58 t/s级别,在512K满上下文时降到约21 t/s,差距来自两方面:

    • 每步都要读取规模庞大的KV Cache;
    • 大容量平台上更常见的批处理方式改变了带宽与算力的平衡关系。

    据此判断,该模型的KV Cache很可能经过了压缩或低秩处理,否则512K上下文占用的容量将超出128GB内存。

  3. 内存降级不一定降速:DDR3改为DDR4,单条速率提高,但容量从128GB降到40GB。后者可容纳的上下文更短、批处理更小,这正说明“内存规格”不能只看代次。
  4. 容量决定可行上下文:128GB级别内存为512K上下文提供了容量基础,适合整库代码分析、长文档理解等任务。

5.5 汇总参考

以下为社区实测汇总(配置、软件版本各不相同,仅供参考,不宜直接横向对比):

平台(类别描述) 模型档位 上下文 生成速度
16GB消费级独显(640GB/s) Q3_K_XL 16KB 约58 t/s
32GB专业级显卡 Q4扩展档 未注明 50+ t/s
32GB专业级显卡 Q6扩展档(≈8位浮点) 未注明 约40 t/s
轻薄本核显+统一内存 Q4_K_M 未注明 约10 t/s
128GB DDR3内存平台 高速版Q4扩展档 512K 最高约21 t/s

六、相关概念区别

  1. tokens/s与首词元延迟(TTFT):前者衡量“持续吐字速度”,后者衡量“多久开始吐字”。长系统提示词场景由TTFT主导,长输出场景由tokens/s主导。
  2. tokens/s与每秒事务数(TPS):两者英文缩写相近,但TPS衡量每秒完成的业务事务数,属于服务端指标,不能用于衡量模型生成速度。
  3. 令牌与词元:在密码学、身份认证语境中,“令牌(token)”指凭证;大模型语境中的“词元(token)”是文本切分单位,两者含义不同。
  4. 量化与蒸馏、剪枝:量化只降低数值表示精度,模型结构与参数量不变;蒸馏用大模型指导训练小模型;剪枝移除部分权重或结构。三者都能降低推理成本,但机制与质量影响不同。
  5. 生成速度与服务吞吐:生成速度描述单请求体验,吞吐描述服务器整体处理能力。把两者混为一谈,容易得出“服务端够快,终端却卡顿”的错误结论。
  6. 核显与独显:核显共享系统内存,带宽与功耗受限;独显配备专用显存,带宽通常高出一个量级。这也是同属27B模型的Q4档位在两类平台上速度相差约5倍的根本原因。

七、使用注意事项

  1. 先看容量,再看带宽:权重与KV Cache装不下时,再高的带宽也无从发挥。估算时,务必把目标上下文长度对应的KV Cache与数GB运行时余量一并计入。
  2. 量化档位与任务匹配:一般对话、摘要可用Q4;代码审查、数学推理、长链逻辑分析建议Q6及以上。Q3档位适合对质量容忍度高、追求速度的场景。
  3. 关注KV Cache量化对长上下文的影响:上下文超过数万词元时,KV Cache已成为显存与带宽的主要消耗项。开启KV量化可以延长可行上下文,但需实测确认质量影响。
  4. 合理设置并发与批处理:个人单机使用时并发设为1即可;对外提供服务时需权衡吞吐与延迟,并留意并发上升会挤压单请求可用显存。
  5. 核实软件环境:不同推理引擎、计算后端、驱动版本对同一硬件的性能影响可能很大。升级后应重新测速,并确认所选用例(如图形界面、浏览器访问)是否正常。
  6. 重视持续负载下的功耗与散热:数十瓦到数百瓦的持续满载对散热与电源要求较高,长时间任务应观察温度与频率变化,必要时延长统计时长取平均值。
  7. 审慎对待“线性外推”:社区里按核心数推算速度的估算,或不同测试条件之间的数据比较,都只能作为量级参考。最终结论以自身硬件、自身任务实测为准。
  8. 安全使用AI生成的启动脚本:让AI直接生成启动脚本很方便,但上线前应检查模型路径、服务监听地址与访问控制,避免推理服务暴露在未授权网络中,并确认脚本不含来源不明的下载或执行命令。

八、总结

回到定义本身:tokens/s是单位时间内生成或处理的词元数,是衡量大模型推理速度的基础指标。它分为两个阶段:预填充阶段主要受算力制约,决定首词元延迟;生成阶段主要受显存带宽制约,决定逐字输出的流畅度。

影响它的核心因素可归纳为:

  • 显存容量:决定能装多大的模型与多长的上下文;
  • 权重位宽:决定每个词元需要搬运多少数据;
  • 上下文长度:决定KV Cache的读取开销;
  • 解码策略:如多词元预测式草稿,带来额外加速。

社区实测也为选型提供了直观参照:16GB消费级独显运行Q3档位约58 t/s,32GB专业级显卡运行Q4与Q6档位分别约50+和40 t/s,核显统一内存平台运行Q4档位约10 t/s,大容量内存平台运行高速版本、512K上下文最高约21 t/s。核心结论并不复杂:

  • 单请求解码速度近似与显存带宽成正比、与权重位宽成反比;
  • 速度提升应与量化质量损失一起评估;
  • 上下文越长,KV Cache的容量与带宽开销越不可忽视。

如果有意采用云端API、模型托管推理、向量数据库、弹性容器等云上推理方案,则不必自行估算带宽与显存。但理解tokens/s的构成与瓶颈,有助于更准确地评估不同部署路径的成本与体验,做出合理的本地与云端协同选型。

发表评论

活动