logo

请求驱动与会话驱动:AI推理架构对比选型

作者:蛮不讲李2026.11.18 11:52浏览量:0

简介:本文对比"请求驱动"与"会话驱动"两类AI推理架构在Agent时代的差异。Chat场景下请求无状态、算完即释放,优化目标是token吞吐;Agent场景以持续几十分钟的会话为基本单位,大量时间处于等待,核心转向会话状态的挂起与恢复。文章从架构、成本、性能、运维等维度拆解二者的相同点、差异与适用边界,帮助读者判断自身负载该做何种架构取舍与迁移准备。

一、对比背景:护城河为什么发生迁移

在Chat时代,推理服务的基本假设是”请求驱动、无状态”:请求进来,算完即释放,GPU 用完就还给下一个请求。围绕这个假设,行业把优化重心放在单个请求的 token 吞吐(tok/s)和排队延迟上,大部分性能工程都是围绕”如何让每次前向传播更快、如何把更多请求塞进一个 batch”展开的。

但 Agent 负载普及后,这个基本假设被动摇了。Agent 时代的基本单位从”一次请求”变成”一条会话”:它可能持续几十分钟到几小时,期间反复调用模型、调用工具、等待用户输入,大部分时间其实什么都不算。此时,如果仍然用”请求驱动、无状态”的思路去设计推理底座,就会出现两个典型问题:算得正好的时候被反复中断重算,不算的时候却白白占着昂贵的加速卡。

因此本文对比的两个对象是:

  • 方案A(请求驱动架构):面向 Chat 及类 Chat 短请求场景的无状态推理架构,核心目标是单请求吞吐与首 token 时延。
  • 方案B(会话驱动架构):面向 Agent 长会话场景的有状态推理架构,核心目标是一条完整任务轨迹的成本与端到端时延。

需要强调,这不是”新旧替代”关系,而是两类不同负载画像对应两种不同的架构取舍。理解差异的关键,是理解”状态放在哪里、怎么挂起、怎么恢复”这一根本问题。

二、相同点:底座没变,变化集中在状态处理

先说不容易变化的部分,避免读者误以为要推倒重来。方案A和方案B在底层技术栈上是高度共享的:

  • 硬件与加速资源:都依赖加速器(如 GPU)及配套的显存、互联、带宽资源;
  • 推理引擎:都需要模型加载、算子执行、KV cache 管理等基础能力;
  • 调度与网关:都需要请求路由、限流、负载均衡、扩缩容;
  • 应用与工具接入:都需要对接业务逻辑、上下文组织与外部工具调用。

也就是说,Chat 时代已经沉淀下来的资源层、推理引擎层、调度网关层、状态存储层,方案B大部分可以直接复用。真正的差异不在于”新增了很多组件”,而在于每一层都要新增一种能力:对会话状态的挂起与恢复。这是理解两种架构对比的核心出发点。

三、核心差异分析:负载画像决定了架构取舍

1. 计算模型:无状态请求 vs 有状态会话

方案A把每次调用视为独立事件,请求之间互不感知,天然适合并行扩缩容和弹性调度。方案B则必须承认”一条会话是一个跨请求连续体”,需要为会话维护一个贯穿各层的标识和状态机,记录它当前处于”算”还是”等”,以便正确地保留或下沉状态。前者是”面向单次前向”,后者是”面向完整轨迹”。

2. 时间结构:持续计算 vs 计算与等待交替

这是两者最本质的区别。Chat 请求的生命周期几乎都在计算,资源利用率相对可预测。而生产实践显示,Agent 会话的中位生命周期里,真正在执行模型/工具的时间占比可能只有约五分之一,大量时间花在等待工具返回或用户输入上,单次空闲常常达到分钟级。这意味着方案B如果用方案A的”算完即释放”策略,要么频繁重算造成浪费,要么长期占用资源造成闲置——两种极端都不划算。

3. 优化目标:token 吞吐 vs 每轨迹成本与时延

方案A的北极星指标是 token/s 和排队时延,因为请求短、口径统一。方案B的北极星指标应是”一条完成轨迹的总成本与端到端时延”。同样是提升性能,方案A会盯着算得更快,方案B则要盯着”少算、算得准、等待期间不浪费、恢复时够快”。优化方向不同,团队的技术投入重点也就不同。

4. 缓存与命中:锦上添花 vs 直接决定成本

在 Chat 场景下,前缀缓存命中往往是”锦上添花”。但在 Agent 场景下,上下文是追加式增长的:某编码类 Agent 在靠后的步骤里,输入上下文可能高达十几万个 token,而输出只有寥寥数百个,输入远大于输出。此时前缀命中与否,直接决定这一步是”只算几百个新 token”还是”重算十几万 token”。有生产实践显示,追加式会话的前缀命中率可以很高,而如果应用每轮都重组上下文导致前缀变化,命中率可能极低。方案B必须把”保住前缀、稳定命中”当作一等公民来设计。

5. 状态管理:可释放 vs 挂起与恢复

方案A的 KV cache、中间结果可以随请求结束直接回收,驱逐代价可忽略。方案B则不行:会话在等工具、等用户时,KV cache、沙箱环境、上下文都要按预测空闲时长分级保留或下沉。如果保留策略太激进(空闲保留时间设得太短),会话频繁被驱逐又恢复,有生产数据显示这可能占据相当比例的总费用;如果一直全量驻留,又会挤占容量、抬高成本。因此方案B需要”根据预测的空闲时长决定状态下沉多深”的分层机制,而非一刀切。

6. 瓶颈位置:只在 GPU vs 全链路

方案A的瓶颈通常集中在 GPU 前向。方案B的瓶颈可能出现在模型之外的环节:在图形界面类 Agent 场景中,桌面/操作沙箱的执行时间可能占据大头,只优化推理引擎,整体会话依旧慢。因此方案B要求把沙箱、工具、上下文存取都纳入性能与成本口径,做全链路而非单点优化。

四、关键差异对比表

对比维度 方案A:请求驱动架构 方案B:会话驱动架构
基本单位 单次请求,亚秒级完成 一条会话,含数十次模型调用与工具调用
状态属性 无状态,算完即释放 有状态,需贯穿各层跟踪
时间结构 生命周期内基本都在计算 计算与长等待交替,执行占比低
缓存意义 前缀复用锦上添花 前缀命中直接决定单步成本
驱逐代价 可忽略 频繁驱逐-恢复可占可观费用
优化目标 token/s、排队时延 每完成轨迹的成本与端到端时延
瓶颈位置 主要在加速卡 可能主要在沙箱/工具/存取
核心新增能力 基本无需新增 需要会话控制面:标识、状态机、分级下沉
扩缩容粒度 按请求 需考虑会话粘性与状态迁移

五、架构怎么落地:一个会话控制面,多层可挂起恢复

从前述差异看,方案B相对方案A并不需要在每一层重造轮子,而是新增一样东西——会话控制面,并让已有各层都支持”挂起—恢复”:

  1. 会话控制面(新增):给每条会话分配贯穿各层的唯一标识,维护其状态机(运行中/等待中/挂起中),并根据预测的空闲时长决定把会话状态(KV cache、沙箱、上下文)下沉到哪一层——留在显存、下沉到主机内存、还是持久化到存储。
  2. 资源与推理引擎层:在支持快速前向的基础上,增加 KV cache 的分级留存与快速换入换出能力。
  3. 调度与网关层:引入会话粘性,保证同一会话尽量回到能提供高命中前缀的节点,避免上下文错位导致重算。
  4. 状态与存储层:提供会话状态的持久化与就近恢复能力,平衡恢复时延与存储成本。

可用如下伪代码示意控制面的核心决策逻辑(通用示例,非特定产品接口):

  1. def on_session_event(session, event):
  2. if event == "TOOL_WAIT":
  3. idle = predict_idle_time(session) # 预测本次空闲时长
  4. level = choose_sink_level(idle) # 决定状态下沉深度
  5. sink_state(session, level) # 显存/内存/存储分级下沉
  6. elif event == "WAKE_UP":
  7. restore_state(session) # 恢复 KV、沙箱、上下文
  8. route_to_warm_node(session) # 优先路由到高命中节点

这里的关键不是某个具体接口名,而是设计原则:以会话为中心做状态生命周期管理,用”预测空闲时长”驱动分层下沉,避免”要么全占、要么全放”的粗放策略。

六、典型场景选择

  • 更适合方案A(请求驱动):Chat 问答、内容生成、翻译、摘要、批处理式短请求,以及并发量大但单次时长可控的在线服务。这类场景无状态、口径统一,直接沿用 Chat 时代成熟栈即可。
  • 更适合方案B(会话驱动):编码 Agent、GUI/桌面操作 Agent、多步工具编排、需要长时间保持上下文的任务型助手。这类场景会话长、状态重、前缀复用价值高,若仍用请求驱动会导致大量重算与资源闲置。
  • 混合场景:同一平台既有大量 Chat 短请求,又有长会话 Agent。此时通常需要两类架构并存,由统一的会话控制面按负载画像分流,而不是强行用一套策略覆盖所有负载。

七、选型建议

  • 先看负载画像,再谈架构:量化自己业务的”会话时长分布、执行占比、前缀命中率、空闲时长分布”,这些指标比”用不用 Agent”更能决定该选哪类架构。
  • 运维能力有限时,优先考虑托管化程度更高的方案:会话状态分层与恢复涉及较多工程细节,自建门槛不低。
  • 成本评估要算全链路:方案B的成本不能只看加速卡,要把驱逐-恢复开销、存储占用、沙箱执行都纳入口径,否则容易低估。
  • 不要为了”用上 Agent”而过度架构化:如果负载本质上是短请求,盲目引入会话控制面反而增加复杂度而无收益。

八、迁移与使用注意事项

从方案A迁移到方案B,或在同一系统内引入会话能力时,需要重点关注:

  • 状态兼容:原有 KV cache、上下文格式是否支持分级持久化与快速恢复,避免恢复后精度或一致性受损。
  • 会话粘性与路由:需要保证会话回到高命中节点,防止因路由漂移导致前缀失效、成本飙升。
  • 容量与驱逐策略:空闲保留时间(TTL)设置过短会推高驱逐-恢复费用,过长会挤压容量,需要基于实测负载调优。
  • 可观测性:监控口径要从”单请求 token/s”扩展到”每会话轨迹成本、执行占比、前缀命中率、恢复时延”,否则无法定位方案B的瓶颈。
  • 灰度与回退:长会话任务中断代价高,建议按会话或业务维度灰度,并保留回退到无状态路径的能力。

九、总结

回到最初的对比:请求驱动与会话驱动并非优劣之分,而是”无状态短请求”与”有状态长会话”两种负载画像各自对应的架构取舍。它们的底座高度共享,真正的分水岭在于是否把”会话”当作一等公民,并围绕它做状态的分级挂起与恢复。判断该走哪条路,不取决于技术潮流,而取决于你的负载到底是”算完即走”还是”算等交替、反复读回更长历史”。当.prefix 命中开始直接决定成本、当等待成为常态、当瓶颈从 GPU 扩展到全链路时,就是应该认真评估会话驱动架构、并为其新增一个会话控制面的信号。

发表评论

活动