logo

Agent时代AI Infra:从算得快到搬得少

作者:渣渣辉2026.11.18 12:07浏览量:0

简介:智能体反复调用大模型时,系统提示词和工具定义被重复计算,成本随之攀升。本文解释面向Agent的AI Infra如何借助KV Cache存算分离减少重复搬运,并说明缓存命中率、会话存活时长等指标的定义与测量方式。读完可判断自身场景是否值得改造,并获得上线前的压测与回滚清单。

一、先看定义

面向 Agent 的 AI Infra 是为智能体服务的底层技术架构。智能体在多步推理、调用工具、执行代码的流程中,会反复请求同一个大模型。这类架构的重点不再只是让单张卡每秒输出更多 Token,而是减少历史上下文被重复传输和重复计算的次数。

可以把它理解为一套以状态管理和网络分发为核心的系统工程。它把计算与 KV Cache 存储分开管理,让系统识别哪些内容可以复用,从而在模型能力不变的前提下降低单次任务的成本。

二、为什么重复计算会推高成本

大模型本身不保存状态。每次调用时,系统都要把系统提示词、工具定义和历史对话重新送入模型。Agent 的一次任务往往包含“读文件、调工具、处理结果”的多轮循环,上下文会不断变长。一段数万字的固定内容,在一天之内可能被送入模型数百次,而其中大部分内容没有新增信息。

公开研究显示,Agent、检索增强生成(RAG)和工具调用三类负载在上下文上存在较多重叠,同一段前缀被反复计算是资源浪费的重要原因。不过,浪费的具体幅度取决于业务形态,团队需要用自己的请求日志测算,而不宜直接套用他人的数字。

三、核心组成与工作方式

面向 Agent 的 AI Infra 通常包含三类模块:KV Cache 存储池、分发网络和算力执行节点。其工作流程如下。

  1. 拆分上下文。把会话拆成“固定前缀”和“动态后缀”。固定前缀包括角色设定、工具定义等几乎不变的内容,动态后缀包括当前提问和最新的工具返回。固定前缀只需计算一次,生成的 KV Cache 持久化到存储池中。

  2. 存算分离与分发。KV Cache 不再绑定在某一张卡的显存中,而是与计算单元分开存放。新请求到达时,高速网络把可复用的 KV Cache 送到执行节点,节点就不必对前缀做完整的前向计算。

  3. 命中优先的执行。执行节点先查找本地或远端缓存。命中后,系统从断点处只计算动态后缀。首 Token 延迟能否下降,取决于缓存命中、网络传输耗时和缓存加载耗时三者的关系。如果传输耗时高于重新计算的耗时,收益就会消失,因此需要通过压测确认。

四、典型场景

长会话多轮交互:客服和个人助理的历史对话通常很长。历史轮次的 KV Cache 可以复用,每一轮就无需从头计算全部前文。会话能持续多少轮,取决于上下文窗口、缓存容量和成本预算。

高频工具调用:Agent 会频繁调用外部工具,工具定义集通常体量大且内容固定。把它放在 Prompt 前缀位置并缓存,可以降低每次调用的额外开销。命中率能提升多少,取决于前缀复用率、缓存策略和网络条件。

超大规模 MoE 模型部署:万亿参数级别的 MoE 模型,单机往往既放不下完整模型,也放不下大量缓存。这类部署需要多节点并行,属于模型并行问题。KV Cache 的网络分发是另一件事。两者可以叠加使用,但不能互相替代。把两者混为一谈,会导致容量规划出错。

五、与传统 AI Infra 的区别

下表比较两类架构。

维度 传统 AI Infra 面向 Agent 的 AI Infra
核心指标 单卡 Token 生成速度(Tokens/s) 单位功耗下可并发运行的 Agent 数量,以及缓存命中率、会话存活时长
主要瓶颈 训练和计算密集任务多受 FLOPS 约束 LLM 解码阶段通常受显存带宽约束;Agent 场景还受 KV Cache 传输和跨节点网络带宽约束
运维重点 GPU 利用率 在 GPU 利用率之外,增加缓存命中率、会话存活时长、跨机房带宽三项指标
适用边界 单次请求长、上下文复用低的场景 多轮、多工具、前缀高度重复的场景

“单位功耗下的并发 Agent 数”这类指标,需要注明测试模型、硬件、上下文长度和测量口径。没有这些条件的具体倍数,不宜直接引用。

六、落地前的检查清单

  1. 调整 Prompt 结构。把变化频率最低的内容,如系统指令和工具 API Schema,放在 Prompt 最前端,动态内容放在后面。前缀稳定,缓存才能稳定命中。调整前后,应使用同一批真实请求做对比。

  2. 定义并监控缓存命中率。建议同时统计两个口径:

    • 请求级命中率 = 命中缓存的请求数 ÷ 总请求数
    • Token 级命中率 = 命中缓存的输入 Token 数 ÷ 总输入 Token 数

    Token 级指标与计算成本的变化更接近。两个指标都应按模型、租户和时间段拆分查看。

  3. 压测后再上线。在真实流量或回放样本上测量首 Token 延迟(P50、P99)、吞吐和单次成本。只有对比结果显示确有收益,才扩大推广范围。

  4. 设置回滚条件。例如命中率低于基线、P99 延迟超过设定阈值,或缓存存储成本超过节省的计算成本时,就回退到原有配置。回滚条件应在上线前写明。

  5. 评估网络。缓存分发依赖网络,需要确认带宽、时延和抖动是否满足要求。如果网络成为瓶颈,缓存节省的计算量会被传输耗时抵消。

七、结论

面向 Agent 的 AI Infra 把关注重点从算力转向搬运效率。它借助 KV Cache 存算分离和网络分发,减少重复前缀的计算与传输。收益大小取决于业务的前缀复用率、缓存策略、网络条件和监控能力。团队应以自身压测数据为依据,逐步验证并推广。

发表评论

活动