logo

# Agent时代的AI Infra:从“请求”到“会话”的护城河重定义

作者:很菜不狗2026.11.18 12:05浏览量:0

简介:本文系统解析Agent时代的AI基础设施如何从无状态的请求驱动架构,演进为以会话为中心的新范式。读者将理解会话控制面的设计思想、KV cache等状态的挂起与恢复机制,以及成本与时延指标的重构逻辑,帮助技术选型者把握infra演进方向。

agent-ai-infra-">一、概念定义:Agent时代的AI Infra是什么

要回答“当下infra的护城河还在吗”,首先需要定义清楚:Agent时代的AI Infra到底是什么。

传统Chat时代的推理服务,本质上是一套请求驱动、无状态的系统:请求进来,调度到GPU,算完,释放资源,整个生命周期以亚秒级计。这套架构的优化目标是吞吐量(token/s)和单请求时延,状态管理几乎不需要,因为每个请求之间彼此独立。

Agent时代的基本单位则变成了一条会话。一条会话持续几十分钟到几小时,中间调用模型几十上百次,夹杂工具调用、用户停顿、沙箱执行等多种动作。最关键的特征是:会话大部分时间什么都不算,它在等待。

由此可以给出一个清晰的定义:Agent时代的AI Infra,是围绕“会话”这一一等公民构建的基础设施,核心解决一个问题,当一条会话在“算”和“等”之间反复切换时,它的状态(KV cache、沙箱、上下文)放在哪里、怎么挂起、怎么恢复。优化目标也随之从token/s,变成每条完成轨迹的成本和时延。

二、背景与价值:为什么负载结构发生了根本变化

Agent负载与Chat负载的差别,不在于“token更多”,而在于时间结构:短促的计算被大段的等待隔开,每次醒来又要读回更长的历史。

从生产环境的实测数据可以归纳出几个维度上的显著差异:

  1. 基本单位变了:从一次请求(亚秒级完成),变成一条会话。按任务折算,一个任务可能包含十几次模型调用、二十多次工具调用。
  2. 输入输出比严重失衡:某类编码Agent在任务的第261步,读取的上下文超过16万个token,而输出仅一百多个token。输入远大于输出。
  3. 时间分布:会话中位数只有约20%的生命周期在真正执行计算,其余空闲多为1到10分钟的等待,比如等工具返回、等用户输入。
  4. 前缀复用从“锦上添花”变成“生死攸关”:追加式上下文的命中率可达99%,而每轮重组上下文的应用可能低至1%。
  5. 驱逐代价不可忽略:在5分钟TTL的策略下,接近六成的会话至少被驱逐一次,驱逐带来的重算可能占到总费用的三成左右。
  6. 瓶颈位置转移:相当比例的应用,主要时延来自模型以外的组件。例如GUI类Agent中,桌面沙箱占了七成以上的执行时间。

由此得出三个关键判断:

  • 前缀命中率就是成本。大部分输入上一轮已经算过,命中与否,决定这一步是“只算几百个新token”还是“重算十几万个”。
  • “等”是常态,需要专门管理状态。GPU上的KV cache、沙箱、上下文不能一律释放,也不能一直占着。
  • 瓶颈不只在模型。只优化推理,会话照样慢。

这正是infra护城河问题的核心:旧的价值曲线(更快推理)依然重要,但新的价值曲线(更聪明的状态管理)正在浮现。

三、核心组成:一个控制面 + 四层可挂起架构

架构上的答案出奇地简洁:只新增一样东西——会话控制面。其余四层在Chat时代大多已经存在,变化在于每一层都要支持“挂起—恢复”。

  1. ┌─────────────────────────────┐
  2. │ 会话控制面 │ ← 新增
  3. │ 全局会话ID / 状态机 / 调度策略 │
  4. ├─────────────────────────────┤
  5. │ 第4层:沙箱执行环境 │ ← 可挂起可恢复
  6. │ 第3层:上下文存储与检索 │ ← 可挂起可恢复
  7. │ 第2层:KV cache 管理层 │ ← 可挂起可恢复
  8. │ 第1层:GPU 推理与调度 │ ← 可挂起可恢复
  9. └─────────────────────────────┘

会话控制面是关键。它做三件事:

  1. 给每条会话一个贯穿各层的全局ID,使得KV cache、沙箱、上下文能够被统一寻址和关联;
  2. 维护会话状态机,追踪会话处于“执行中”“等待工具”“等待用户”“已归档”等哪种状态;
  3. 根据预测的空闲时长,决定把状态下沉多深——是留在GPU显存(预计很快回来)、下沉到主机内存(几分钟级等待)、还是落到对象存储或磁盘(小时级挂起)。

这个决策逻辑可以用伪代码概括:

  1. on_idle(session):
  2. ttl = predict_idle_duration(session)
  3. if ttl < 1min: keep_in_gpu_memory()
  4. elif ttl < 10min: offload_to_host_memory()
  5. else: archive_to_storage()
  6. on_resume(session):
  7. restore_states(session.id) # 按记录的层级逐层恢复

四、工作原理:挂起—恢复如何贯穿四层

  • GPU与KV cache层:KV cache是最“热”也最昂贵的状态。命中缓存时,每步只需计算新增的几百个token;被驱逐时则要全量重算,成本差距可达两个数量级。因此缓存驱逐策略需要从“LRU+固定TTL”演进为“基于会话空闲预测的分级下沉”。
  • 上下文存储层:追加式写上下文的应用天然具备高前缀命中率;每轮重组上下文的应用则几乎无法复用。infra需要通过统一的会话ID,把上下文版本与KV cache对齐。
  • 沙箱层:对GUI类、代码执行类Agent,沙箱的挂起(保存文件系统快照、暂停进程)与恢复(秒级拉起还原现场)直接决定端到端时延。
  • 推理调度层:调度器不再只看“有多少请求在排队”,还要看“有多少会话即将醒来”,从而提前预热状态,避免恢复延迟转嫁给用户。

五、相关概念区别

容易混淆的两组概念:

  1. 会话 vs 请求:请求是计算的单位,会话是业务与成本的单位。一次会话包含上百次请求,但计费、排障、优化的视角都应以会话为锚点。
  2. 前缀缓存 vs 通用缓存:前者复用的是模型推理的中间计算结果(KV),后者只是数据缓存。前缀缓存的价值与上下文的追加性直接相关。

六、使用注意事项

  • 上下文组织方式决定命中率上限:优先采用追加式设计,避免每轮拼接重排。
  • TTL不能一刀切:固定TTL会导致大量会话被误驱逐,应结合空闲时长预测做分级下沉。
  • 不要只盯着GPU:监控体系需覆盖沙箱、检索等模型外组件的时延占比。
  • 状态一致性:KV cache与上下文版本必须对齐,否则恢复后可能出现计算结果与逻辑上下文不一致的问题。

七、总结

回到最初的问题:当下infra的护城河还在吗?答案是,护城河的位置变了。单纯的推理速度优化正在趋同,而围绕“会话”构建的状态管理能力,会话控制面、分级挂起恢复、以轨迹为单位的经济性度量——构成了新的技术壁垒。谁能把一条会话在“算”与“等”之间的切换成本做到最低,谁就掌握了Agent时代infra的核心价值。

发表评论

活动