logo

什么是连续批处理:大模型并发推理的核心技术

作者:JC2026.11.18 12:05浏览量:0

简介:本文介绍大模型推理中连续批处理的定义与工作原理,说明它如何应对显存受限和生成长度不一带来的并发效率问题,并比较静态批处理与动态批处理的区别。文末给出典型场景和部署注意事项,便于读者判断它在自身业务中的适用性。

一、概念定义

连续批处理(Continuous Batching)是大模型推理服务中的一种调度方法。它的调度单位是模型的一次前向计算,也就是生成一个新token的那一步。每完成一步,服务会重新组织正在运行的批次:已生成结束标记的请求立即退出,等待中的新请求立即补入,使GPU尽量始终处理满的批次。行业中也常把它称为迭代级批处理,资料中的叫法不完全统一,但指的是同一类机制。

二、背景与价值

  1. 大模型并发问题的根源

大模型采用自回归方式生成内容,每次只输出一个token,下一个token依赖前面所有已生成内容。一条回答往往需要几十到上千次前向计算,每次计算都要读取模型权重和已有的注意力缓存(KV缓存)。

推理阶段的瓶颈通常在显存访问,而不是纯计算。从显存中读取数据所需的时间,经常长于实际运算所需的时间。因此,单纯增加计算单元不一定能提升速度,提高吞吐的关键在于让每次读取的数据服务更多请求。

显存容量则决定了能同时容纳多少条序列。以一个约70亿参数、32层、隐藏维度为4096、采用16位浮点数存储的模型为例,每个token的KV缓存约为2×32×4096×2字节,即512KiB。一条长度为2048的序列,仅KV缓存就约占1GiB。在显存有限的情况下,能同时服务的请求数很快会达到上限。这是估算示意,实际数值取决于具体模型结构和精度。

  1. 静态批处理的局限

在传统的静态批处理中,服务把若干请求凑成一个批次,整批执行直到全部完成。这种方式存在几类明显浪费:

  • 短请求要等同批最长的请求结束,才能返回结果,延迟被拉长。
  • 生成长度不同的序列需要相互补齐,补齐部分的计算没有实际意义。
  • 批次执行期间到达的新请求只能排队等待下一批,排队时间增加。
  • 批次中途已完成的序列占用的计算槽位逐渐空闲,GPU利用率下降。

举例说明:一批4个请求,生成长度分别为10、50、20、40个token。静态批处理需要执行50步,共提供200个计算槽位,其中有效输出只有120个,利用率仅为60%。如果改用连续批处理,前一个请求结束后,它的槽位可以立即分配给新请求,利用率会接近满载。

  1. 连续批处理的价值

连续批处理把批次管理从“请求级”细化到“token步级”。它的主要价值体现在三方面:一是提高GPU和显存的有效利用率,单位时间内能处理的token数更多;二是降低排队时间,新请求可以较快进入运行状态;三是改善短请求的响应体验,短请求不必等待长请求全部结束。

三、核心组成

连续批处理通常由以下几个模块协同完成。

  1. 迭代级调度器:每个生成步开始前决定哪些序列参与本次计算,并在步结束后更新各序列状态。
  2. 等待队列与准入控制:根据当前剩余显存、正在运行的序列数量和配额,决定是否接纳新请求。
  3. KV缓存管理器:把显存切分为固定大小的块,按需分配给序列。请求结束后立即回收对应的块,减少显存碎片。
  4. 预填充(Prefill)与解码(Decode)两个阶段的处理逻辑:
    • 预填充阶段处理输入提示词,一次性计算多个token,偏向计算密集型。
    • 解码阶段每步只生成一个token,偏向访存密集型。
      两类任务的资源特征不同,如何在同一批次中混合调度,是实现中的关键难点。
  5. 抢占与换出策略:显存不足时,暂停部分序列。被暂停的序列可以把KV缓存换出到主机内存,也可以直接丢弃,待恢复时重新计算。

四、工作原理

下面用通用伪代码描述一个连续批处理调度循环,不依赖任何具体实现:

  1. while 存在等待请求 或 运行队列非空:
  2. for 序列 in 运行队列:
  3. if 序列已生成结束标记 或 达到最大长度:
  4. 移出运行队列, 释放其KV缓存块
  5. while 等待队列非空 且 显存预算允许:
  6. 新请求 = 等待队列.取出()
  7. 为新请求分配初始KV缓存块
  8. 加入运行队列
  9. 结果 = 模型对运行队列中所有序列执行一次前向计算
  10. for 序列, 新token in 结果:
  11. 将新token追加到序列输出
  12. 更新该序列的KV缓存
  13. 将本步产出的token返回给对应的客户端

以“回答一个问题需要生成10个token”为例,流程如下:

  1. 请求A进入队列,分配提示词所需的KV缓存,完成预填充。
  2. 每个生成步,A产出一个token,并被发送给客户端。
  3. 请求B在第4步到达。若显存足够,它会在第4步加入批次,与A共同计算。
  4. 请求A在第10步遇到结束标记,立即退出,释放资源。
  5. 请求C在第11步补入,占用A刚释放的位置。

整个过程中,批次始终由当前活跃的请求组成,不需要等待整批结束。

五、如何理解“并发问题”

大模型服务的并发问题实际包含三层含义:

  • 请求并发:同一时间有多少用户请求在等待或处理中。
  • 计算并发:GPU每一步能同时计算多少序列,这决定算力和显存带宽的利用率。
  • 资源并发:显存能够同时容纳多少序列的KV缓存,这是上限约束。

连续批处理主要改善计算并发和资源并发的利用率,使请求并发在资源约束下得到更高的处理能力。它本身不增加显存总量,也不减少单步计算量,因此常与其他手段配合使用。

六、典型场景

  • 面向大量用户的在线对话服务:用户请求到达时间和回答长度都不可预测,适合动态调度。
  • 请求长度差异大的通用API服务:短问答与长文生成混合时,可以避免短请求被长请求拖慢。
  • 批量离线推理任务:以吞吐为主要目标,连续批处理能有效提高单位时间的处理量。
  • 多租户推理平台:通过统一调度,让多个业务共享同一组GPU资源。
  • 流式输出服务:每个token都需要尽快返回,适合使用,但需要关注调度对单步延迟的影响。

七、相关概念区别

  • 静态批处理:批次固定,全部完成后才释放资源,实现简单,但空闲和等待浪费明显。
  • 动态批处理(请求级):在时间窗口内凑够一批或等待一段时间后成批执行,批次内请求整体结束后才释放。它改善了凑批方式,但没有细化到生成步。
  • 连续批处理:以token步为单位动态换入和换出,粒度更细,对生成长度差异大的场景更有效。
  • 量化:降低权重和缓存的数值精度,减少显存占用,从而允许更大的批次。它改变的是数据表示方式,可以与连续批处理叠加使用。
  • 模型并行(如张量并行、流水线并行):把模型切分到多张卡上,解决单卡放不下的问题。它解决的是“能不能放下”,连续批处理解决的是“怎样调度才高效”。
  • 请求限流与排队:控制进入系统的请求速率,是保护措施。它不提升单位算力的效率,但能防止系统过载。

八、使用注意事项

  1. 显存预算

    • 需要为激活值、临时计算和突发的长序列预留空间。
    • 应设置最大序列长度、最大并发数和单请求显存上限,避免单个超长请求耗尽资源。
  2. 调度公平性与尾延迟

    • 长请求可能长期占用槽位,导致后到的短请求等待时间变长。
    • 可以结合先来先服务、优先级队列或按长度分桶等策略,平衡吞吐与公平性。
  3. 预填充对解码的干扰

    • 长提示词的预填充计算量大,可能拖慢正在生成的请求,表现为token输出间隔变长。
    • 可以采用分块预填充,把长提示词拆成多步处理,减少对解码的冲击。
  4. 指标监控

    • 吞吐量(每秒处理的token数)。
    • 首token延迟(TTFT),衡量用户等待第一个字的时间。
    • 单token生成间隔(TPOT),衡量流式输出的流畅程度。
    • 显存利用率、排队时长、抢占和换出次数。
      不同业务对这些指标的侧重不同,在线服务通常更关注延迟,离线任务更关注吞吐。
  5. 基准数据的使用

    • 公开资料中有报告显示,连续批处理在部分测试条件下可使吞吐提升数倍至二十余倍。
    • 这些数字高度依赖模型规模、输入输出长度分布、硬件型号和负载形态。引用时应说明测试条件,并在自身环境中重新测量。
  6. 安全与稳定性

    • 对输入长度和参数做校验,拒绝超出限制的请求。
    • 为每个请求设置超时和取消机制,及时释放已放弃请求占用的资源。
    • 不同用户的请求在数据层面相互隔离,避免上下文混淆。

九、总结

连续批处理的核心是把批次管理从“请求级”细化到“token步级”。每完成一步生成,已结束的请求立即退出,新请求立即补入,使GPU和显存在大多数时间保持较高的负载。它针对的是大模型推理中生成长度不一、显存受限、静态批次空转等问题,适合高并发、长度分布离散的在线和离线推理服务。

它也有明确边界。对于单请求、极低延迟的场景,收益有限。它不能替代显存优化和模型并行,实际部署中通常与量化、分块预填充、合理的调度策略和完善的监控一起使用,才能较完整地解决大模型服务的并发问题。

发表评论

活动