# Agent时代的AI Infra:从“请求”到“会话”的护城河重定义
作者:很菜不狗2026.11.18 12:05浏览量:0简介:本文系统解析Agent时代的AI基础设施如何从无状态的请求驱动架构,演进为以会话为中心的新范式。读者将理解会话控制面的设计思想、KV cache等状态的挂起与恢复机制,以及成本与时延指标的重构逻辑,帮助技术选型者把握infra演进方向。
agent-ai-infra-">一、概念定义:Agent时代的AI Infra是什么
要回答“当下infra的护城河还在吗”,首先需要定义清楚:Agent时代的AI Infra到底是什么。
传统Chat时代的推理服务,本质上是一套请求驱动、无状态的系统:请求进来,调度到GPU,算完,释放资源,整个生命周期以亚秒级计。这套架构的优化目标是吞吐量(token/s)和单请求时延,状态管理几乎不需要,因为每个请求之间彼此独立。
Agent时代的基本单位则变成了一条会话。一条会话持续几十分钟到几小时,中间调用模型几十上百次,夹杂工具调用、用户停顿、沙箱执行等多种动作。最关键的特征是:会话大部分时间什么都不算,它在等待。
由此可以给出一个清晰的定义:Agent时代的AI Infra,是围绕“会话”这一一等公民构建的基础设施,核心解决一个问题,当一条会话在“算”和“等”之间反复切换时,它的状态(KV cache、沙箱、上下文)放在哪里、怎么挂起、怎么恢复。优化目标也随之从token/s,变成每条完成轨迹的成本和时延。
二、背景与价值:为什么负载结构发生了根本变化
Agent负载与Chat负载的差别,不在于“token更多”,而在于时间结构:短促的计算被大段的等待隔开,每次醒来又要读回更长的历史。
从生产环境的实测数据可以归纳出几个维度上的显著差异:
- 基本单位变了:从一次请求(亚秒级完成),变成一条会话。按任务折算,一个任务可能包含十几次模型调用、二十多次工具调用。
- 输入输出比严重失衡:某类编码Agent在任务的第261步,读取的上下文超过16万个token,而输出仅一百多个token。输入远大于输出。
- 时间分布:会话中位数只有约20%的生命周期在真正执行计算,其余空闲多为1到10分钟的等待,比如等工具返回、等用户输入。
- 前缀复用从“锦上添花”变成“生死攸关”:追加式上下文的命中率可达99%,而每轮重组上下文的应用可能低至1%。
- 驱逐代价不可忽略:在5分钟TTL的策略下,接近六成的会话至少被驱逐一次,驱逐带来的重算可能占到总费用的三成左右。
- 瓶颈位置转移:相当比例的应用,主要时延来自模型以外的组件。例如GUI类Agent中,桌面沙箱占了七成以上的执行时间。
由此得出三个关键判断:
- 前缀命中率就是成本。大部分输入上一轮已经算过,命中与否,决定这一步是“只算几百个新token”还是“重算十几万个”。
- “等”是常态,需要专门管理状态。GPU上的KV cache、沙箱、上下文不能一律释放,也不能一直占着。
- 瓶颈不只在模型。只优化推理,会话照样慢。
这正是infra护城河问题的核心:旧的价值曲线(更快推理)依然重要,但新的价值曲线(更聪明的状态管理)正在浮现。
三、核心组成:一个控制面 + 四层可挂起架构
架构上的答案出奇地简洁:只新增一样东西——会话控制面。其余四层在Chat时代大多已经存在,变化在于每一层都要支持“挂起—恢复”。
┌─────────────────────────────┐│ 会话控制面 │ ← 新增│ 全局会话ID / 状态机 / 调度策略 │├─────────────────────────────┤│ 第4层:沙箱执行环境 │ ← 可挂起可恢复│ 第3层:上下文存储与检索 │ ← 可挂起可恢复│ 第2层:KV cache 管理层 │ ← 可挂起可恢复│ 第1层:GPU 推理与调度 │ ← 可挂起可恢复└─────────────────────────────┘
会话控制面是关键。它做三件事:
- 给每条会话一个贯穿各层的全局ID,使得KV cache、沙箱、上下文能够被统一寻址和关联;
- 维护会话状态机,追踪会话处于“执行中”“等待工具”“等待用户”“已归档”等哪种状态;
- 根据预测的空闲时长,决定把状态下沉多深——是留在GPU显存(预计很快回来)、下沉到主机内存(几分钟级等待)、还是落到对象存储或磁盘(小时级挂起)。
这个决策逻辑可以用伪代码概括:
on_idle(session):ttl = predict_idle_duration(session)if ttl < 1min: keep_in_gpu_memory()elif ttl < 10min: offload_to_host_memory()else: archive_to_storage()on_resume(session):restore_states(session.id) # 按记录的层级逐层恢复
四、工作原理:挂起—恢复如何贯穿四层
- GPU与KV cache层:KV cache是最“热”也最昂贵的状态。命中缓存时,每步只需计算新增的几百个token;被驱逐时则要全量重算,成本差距可达两个数量级。因此缓存驱逐策略需要从“LRU+固定TTL”演进为“基于会话空闲预测的分级下沉”。
- 上下文存储层:追加式写上下文的应用天然具备高前缀命中率;每轮重组上下文的应用则几乎无法复用。infra需要通过统一的会话ID,把上下文版本与KV cache对齐。
- 沙箱层:对GUI类、代码执行类Agent,沙箱的挂起(保存文件系统快照、暂停进程)与恢复(秒级拉起还原现场)直接决定端到端时延。
- 推理调度层:调度器不再只看“有多少请求在排队”,还要看“有多少会话即将醒来”,从而提前预热状态,避免恢复延迟转嫁给用户。
五、相关概念区别
容易混淆的两组概念:
- 会话 vs 请求:请求是计算的单位,会话是业务与成本的单位。一次会话包含上百次请求,但计费、排障、优化的视角都应以会话为锚点。
- 前缀缓存 vs 通用缓存:前者复用的是模型推理的中间计算结果(KV),后者只是数据缓存。前缀缓存的价值与上下文的追加性直接相关。
六、使用注意事项
- 上下文组织方式决定命中率上限:优先采用追加式设计,避免每轮拼接重排。
- TTL不能一刀切:固定TTL会导致大量会话被误驱逐,应结合空闲时长预测做分级下沉。
- 不要只盯着GPU:监控体系需覆盖沙箱、检索等模型外组件的时延占比。
- 状态一致性:KV cache与上下文版本必须对齐,否则恢复后可能出现计算结果与逻辑上下文不一致的问题。
七、总结
回到最初的问题:当下infra的护城河还在吗?答案是,护城河的位置变了。单纯的推理速度优化正在趋同,而围绕“会话”构建的状态管理能力,会话控制面、分级挂起恢复、以轨迹为单位的经济性度量——构成了新的技术壁垒。谁能把一条会话在“算”与“等”之间的切换成本做到最低,谁就掌握了Agent时代infra的核心价值。

登录后可评论,请前往 登录 或 注册