Agent时代AI Infra:从算得快到搬得少
作者:渣渣辉2026.11.18 12:07浏览量:0简介:智能体反复调用大模型时,系统提示词和工具定义被重复计算,成本随之攀升。本文解释面向Agent的AI Infra如何借助KV Cache存算分离减少重复搬运,并说明缓存命中率、会话存活时长等指标的定义与测量方式。读完可判断自身场景是否值得改造,并获得上线前的压测与回滚清单。
一、先看定义
面向 Agent 的 AI Infra 是为智能体服务的底层技术架构。智能体在多步推理、调用工具、执行代码的流程中,会反复请求同一个大模型。这类架构的重点不再只是让单张卡每秒输出更多 Token,而是减少历史上下文被重复传输和重复计算的次数。
可以把它理解为一套以状态管理和网络分发为核心的系统工程。它把计算与 KV Cache 存储分开管理,让系统识别哪些内容可以复用,从而在模型能力不变的前提下降低单次任务的成本。
二、为什么重复计算会推高成本
大模型本身不保存状态。每次调用时,系统都要把系统提示词、工具定义和历史对话重新送入模型。Agent 的一次任务往往包含“读文件、调工具、处理结果”的多轮循环,上下文会不断变长。一段数万字的固定内容,在一天之内可能被送入模型数百次,而其中大部分内容没有新增信息。
公开研究显示,Agent、检索增强生成(RAG)和工具调用三类负载在上下文上存在较多重叠,同一段前缀被反复计算是资源浪费的重要原因。不过,浪费的具体幅度取决于业务形态,团队需要用自己的请求日志测算,而不宜直接套用他人的数字。
三、核心组成与工作方式
面向 Agent 的 AI Infra 通常包含三类模块:KV Cache 存储池、分发网络和算力执行节点。其工作流程如下。
拆分上下文。把会话拆成“固定前缀”和“动态后缀”。固定前缀包括角色设定、工具定义等几乎不变的内容,动态后缀包括当前提问和最新的工具返回。固定前缀只需计算一次,生成的 KV Cache 持久化到存储池中。
存算分离与分发。KV Cache 不再绑定在某一张卡的显存中,而是与计算单元分开存放。新请求到达时,高速网络把可复用的 KV Cache 送到执行节点,节点就不必对前缀做完整的前向计算。
命中优先的执行。执行节点先查找本地或远端缓存。命中后,系统从断点处只计算动态后缀。首 Token 延迟能否下降,取决于缓存命中、网络传输耗时和缓存加载耗时三者的关系。如果传输耗时高于重新计算的耗时,收益就会消失,因此需要通过压测确认。
四、典型场景
长会话多轮交互:客服和个人助理的历史对话通常很长。历史轮次的 KV Cache 可以复用,每一轮就无需从头计算全部前文。会话能持续多少轮,取决于上下文窗口、缓存容量和成本预算。
高频工具调用:Agent 会频繁调用外部工具,工具定义集通常体量大且内容固定。把它放在 Prompt 前缀位置并缓存,可以降低每次调用的额外开销。命中率能提升多少,取决于前缀复用率、缓存策略和网络条件。
超大规模 MoE 模型部署:万亿参数级别的 MoE 模型,单机往往既放不下完整模型,也放不下大量缓存。这类部署需要多节点并行,属于模型并行问题。KV Cache 的网络分发是另一件事。两者可以叠加使用,但不能互相替代。把两者混为一谈,会导致容量规划出错。
五、与传统 AI Infra 的区别
下表比较两类架构。
| 维度 | 传统 AI Infra | 面向 Agent 的 AI Infra |
|---|---|---|
| 核心指标 | 单卡 Token 生成速度(Tokens/s) | 单位功耗下可并发运行的 Agent 数量,以及缓存命中率、会话存活时长 |
| 主要瓶颈 | 训练和计算密集任务多受 FLOPS 约束 | LLM 解码阶段通常受显存带宽约束;Agent 场景还受 KV Cache 传输和跨节点网络带宽约束 |
| 运维重点 | GPU 利用率 | 在 GPU 利用率之外,增加缓存命中率、会话存活时长、跨机房带宽三项指标 |
| 适用边界 | 单次请求长、上下文复用低的场景 | 多轮、多工具、前缀高度重复的场景 |
“单位功耗下的并发 Agent 数”这类指标,需要注明测试模型、硬件、上下文长度和测量口径。没有这些条件的具体倍数,不宜直接引用。
六、落地前的检查清单
调整 Prompt 结构。把变化频率最低的内容,如系统指令和工具 API Schema,放在 Prompt 最前端,动态内容放在后面。前缀稳定,缓存才能稳定命中。调整前后,应使用同一批真实请求做对比。
定义并监控缓存命中率。建议同时统计两个口径:
- 请求级命中率 = 命中缓存的请求数 ÷ 总请求数
- Token 级命中率 = 命中缓存的输入 Token 数 ÷ 总输入 Token 数
Token 级指标与计算成本的变化更接近。两个指标都应按模型、租户和时间段拆分查看。
压测后再上线。在真实流量或回放样本上测量首 Token 延迟(P50、P99)、吞吐和单次成本。只有对比结果显示确有收益,才扩大推广范围。
设置回滚条件。例如命中率低于基线、P99 延迟超过设定阈值,或缓存存储成本超过节省的计算成本时,就回退到原有配置。回滚条件应在上线前写明。
评估网络。缓存分发依赖网络,需要确认带宽、时延和抖动是否满足要求。如果网络成为瓶颈,缓存节省的计算量会被传输耗时抵消。
七、结论
面向 Agent 的 AI Infra 把关注重点从算力转向搬运效率。它借助 KV Cache 存算分离和网络分发,减少重复前缀的计算与传输。收益大小取决于业务的前缀复用率、缓存策略、网络条件和监控能力。团队应以自身压测数据为依据,逐步验证并推广。

登录后可评论,请前往 登录 或 注册