Agent原生与传统流程式AI基础设施架构对比
作者:da吃一鲸8862026.11.16 10:55浏览量:1简介:本文对比两类AI应用架构及其对应的基础设施:以规则流程编排、模型旁路辅助为主的传统流程式AI方案(方案A),与以智能体自主规划、多工具协同为核心的Agent原生方案(方案B)。文章从架构边界、能力覆盖、接入改造量、弹性与延迟、可观测性、安全合规、成本与运维等维度展开,帮助技术负责人判断自身业务应落在哪一侧,以及需要提前补齐哪些基础设施能力。
一、对比背景:为什么现在必须重新讨论AI基础设施
早期的企业级AI落地,普遍采用”流程为主、模型为辅”的模式:业务系统先把一条链路(例如客户进线 → 意图分类 → 检索知识库 → 生成回复 → 创建工单)拆成固定的若干节点,每个节点调用一次模型或一次检索。这套做法在工程上非常可控——节点数量有限、调用次数可预估、每步都有明确输入输出,因此容量规划和成本核算都相对简单。
Agent的普及打破了这种可预估性。当系统从”执行一条预设流程”变成”给定一个目标,自行决定调用哪些工具、调用几轮、何时结束”,单次业务请求背后可能触发的不再是一次推理,而是一条长度不确定的工具调用链。这种变化对基础设施提出的要求是结构性的,而不是简单的算力扩容。
于是真正值得比较的问题浮现出来:面对Agent化的业务诉求,是继续沿用传统流程式架构、把模型能力逐步替换进来,还是转向Agent原生架构、并同步改造底层基础设施? 本文把这两类方案称为方案A与方案B。
二、对象定义
方案A:流程式AI架构(流程驱动,模型旁路增强)
核心特征是控制流由业务代码定义,模型只承担局部判断或生成。典型实现是一个工作流引擎或规则引擎,节点之间是显式跳转关系;模型以同步调用、批量调用或异步回调的方式嵌入节点中。
它解决的问题是:在流程明确、合规约束强的业务里,用AI替换部分人工判断,同时保留确定性。
agent-">方案B:Agent原生架构(目标驱动,自主编排)
核心特征是控制流由模型在运行时决定,系统只提供一组可调用能力(工具)和约束(权限、预算、超时),由智能体循环执行”观察 → 规划 → 调用 → 校验”直到达成目标或触发终止条件。
它解决的问题是:目标明确但路径高度不确定、需要跨多个系统与多个渠道协同的任务,例如跨渠道的用户问题闭环处理、多系统数据核对后的处理决策。
两者的关系不是替代,而是分层。多数成熟系统最终会同时保留两层:Agent负责规划与决策,流程引擎负责高风险、强合规环节的确定性执行。
三、相同点:不要忽略的共同底座
无论选择哪一侧,以下能力都是必需的,这也是很多人低估改造成本的原因:
- 模型服务能力:都需要统一的模型接入层,负责鉴权、配额、限流、版本切换与降级。
- 知识与数据供给:都需要文档解析、切分、索引与检索能力;方案A通常直接调用检索接口,方案B把检索封装为一个工具,本质相同。
- 基础云上组件:容器平台承载无状态服务、消息队列做削峰与解耦、对象存储放非结构化数据、关系型数据库存业务数据、日志服务与监控告警负责可观测、负载均衡承接流量分发、身份认证服务统一鉴权。以百度智能云为代表的云厂商通常提供上述通用类目能力,可直接作为架构底座。
- 人机协同设计:两者都需要”关键节点人工确认”的兜底机制,都需要把人工处置结果回流为训练或评测样本。
- 安全底线:数据脱敏、最小权限、全链路审计、传输与存储加密,两类方案都不能省略。
换句话说,差异不在”要不要这些能力”,而在”这些能力被调用的次数、时延要求和失败代价完全不同”。
四、核心差异分析
1. 架构与系统边界
方案A的系统边界清晰,服务之间通过同步接口或消息解耦,调用链深度通常在个位数层级。容量模型是”请求数 × 每请求调用次数”,两者都可预估。
方案B的系统边界会向两端扩张:向上多了会话状态层(保存中间结论、已用工具、失败重试次数),向下多了工具执行层(函数网关、沙箱容器、权限代理)。一次业务请求对应的下游调用次数是一个区间而非定值,容量模型从乘法变成了分布估计。
2. 功能能力与使用边界
方案A的能力上界等于设计者的枚举范围。遇到未覆盖的长尾问题,它只能走兜底分支或转人工,不会”自己想办法”。这既是缺点也是优点——行为可预期,测试可穷举。
方案B能处理长尾,因为它可以在运行时组合工具。代价是行为路径不可穷举,测试从”覆盖所有分支”变成”覆盖足够多的目标与约束场景”,回归成本显著上升。因此方案B天然要求配套建设评测集与在线质量监控,否则质量会随模型版本漂移。
3. 接入方式与改造成本
方案A的改造是渐进的:保留原有系统骨架,把某个节点里的规则替换成模型调用,业务代码改动小,可灰度、可回滚。
方案B的改造是结构性的:需要把原本内嵌在业务流程里的能力反向封装为可被Agent调用的工具(明确的输入输出契约、错误语义、幂等性),并新增会话状态存储、工具沙箱、预算控制等组件。工具接口的契约设计质量直接决定Agent的可靠性,这部分工作量常被低估。
4. 性能与弹性
关键指标从”平均响应时间”转向”端到端时延分布”。方案B的多轮调用会把总时延叠加,长尾更明显,尤其当链路中出现人工确认环节时,一次业务闭环可能是分钟级而非秒级。因此需要区分对待:
- 同步交互型任务(实时对话、语音应答)对首字时延敏感,需要靠请求路由、上下文缓存、较小模型分流等手段压缩;
- 异步任务型任务(工单处理、批量核对)可以放入消息队列异步执行,对时延不敏感但对吞吐与失败重试敏感。
弹性方面,多渠道统一接入(电话、网页、应用、社交平台等)意味着流量呈明显的波峰波谷特征。方案A可按历史峰值做静态扩缩;方案B更需要基于队列积压和并发会话数的动态扩缩策略,因为负载来源是”并发进行的会话数”,而不是”每秒请求数”。
5. 安全与合规
方案B引入了两类新风险,方案A基本不存在:
- 提示注入与工具越权:模型可能因外部内容诱导而尝试调用不该调用的工具。缓解手段是在工具层做权限校验,而不是在提示词层做约束;
- 执行副作用不可回滚:Agent可能已修改了业务数据才发现决策有误。因此高风险工具必须具备幂等键、预检查与人工确认门。
工程上应把”Agent能做什么”收敛为一份显式工具白名单与权限矩阵,并把每次工具调用的入参、出参、决策依据写入审计日志。
6. 运维与可观测性
方案A的监控对象是服务与接口,常规指标足够。方案B需要新增一类观测对象——一次Agent运行的完整轨迹,包括每轮思考、选中的工具、调用耗时、失败原因与最终结论。没有这层追踪,线上问题几乎无法复现。
同时需要建设离线的评测与回归机制:固定问题集、固定评分标准、按模型版本对比通过率,用于判断一次模型升级是提升还是退化。
7. 成本结构
方案A的成本以固定资源与可预测调用量为主,单位成本容易核算。
方案B的成本结构中,推理调用与上下文长度成为主要变量,且可能出现”为达成目标多跑数轮”带来的额外消耗。控制手段包括:请求路由到不同规格模型、上下文压缩与摘要、检索结果精简、单会话预算上限、结果缓存复用。这些手段本质上都是在基础设施层实现,而不是靠调整业务代码。
五、关键差异对比表
| 对比维度 | 方案A:流程式AI架构 | 方案B:Agent原生架构 |
|---|---|---|
| 控制流归属 | 业务代码显式定义 | 模型运行时动态决定 |
| 调用次数 | 可预估(近似定值) | 不确定(区间分布) |
| 长尾任务处理 | 依赖兜底与转人工 | 可通过工具组合自行求解 |
| 行为可预期性 | 高,测试可穷举 | 较低,需评测集与在线监控 |
| 业务代码改造量 | 小,可局部替换 | 大,需工具化改造与新增中间层 |
| 新增基础设施 | 模型接入、检索 | 会话状态存储、工具沙箱、权限代理、轨迹追踪 |
| 时延特征 | 稳定、可预测 | 叠加多轮调用,长尾明显 |
| 弹性伸缩依据 | QPS与历史峰值 | 并发会话数、队列积压 |
| 主要安全风险 | 数据泄露 | 数据泄露 + 提示注入 + 工具越权 + 副作用回滚 |
| 可观测性重点 | 服务与接口指标 | 单次运行轨迹与决策依据 |
| 成本可控性 | 单位成本清晰 | 需预算、路由、缓存等主动治理 |
| 典型适用 | 流程固定、合规强、要求高确定性 | 目标开放、跨系统跨渠道、需自主编排 |
六、典型场景选择
更适合方案A的情况:
- 业务路径明确且变化缓慢,例如标准的身份核验、固定审批流转、有明确规则的资格判断;
- 强监管场景,要求每一步都可解释、可复现、可留痕;
- 对响应时延有硬性要求且预算固定;
- 团队规模有限,缺乏Agent评测与线上运营能力。
更适合方案B的情况:
- 用户诉求高度分散,问题分类无法穷尽,需要在多个系统间查数据并组合动作;
- 跨渠道统一服务入口,进线来源、会话格式、上下文长度差异大,用固定流程维护分支会迅速膨胀;
- 任务本身是异步、长周期的,允许人在关键节点确认,例如复杂投诉处理、跨系统信息核对;
- 组织已具备或愿意投入建设评测体系、可观测能力与权限治理机制。
混合架构(实践中最常见): Agent负责意图理解、任务拆解与工具选择,把涉及资金、权限变更、对外承诺的动作交回流程引擎执行并强制人工确认。示意性伪代码:
# 分层协作:Agent负责规划,流程引擎负责确定性执行def handle_session(session):plan = planner.plan(goal=session.intent, tools=tool_registry.list()) # 模型决定路径for step in plan.steps:if step.tool.risk_level == "high":# 高风险动作走确定性流程 + 人工确认门return workflow_engine.run(step, require_approval=True)result = tool_gateway.invoke( # 统一入口:鉴权 + 限流 + 审计name=step.tool.name,args=step.args,idem_key=session.id, # 幂等键,避免重复副作用budget=session.remaining_budget,)trace.append(step, result) # 轨迹留痕,用于复盘与评测return session.output
七、选型建议
给出条件化判断,而非绝对结论:
- 先看业务路径的不确定性。路径可枚举、变化慢,方案A的性价比通常更高;路径无法穷举且长尾占比高,方案B的收益才会显现。
- 再看团队的运维与评测能力。Agent的效果需要持续运营(评测集维护、失败样本归因、模型版本回归)。缺少这项投入时,优先在方案A框架内提升局部能力更稳妥。
- 然后看时延与成本的约束强度。对秒级响应和固定成本敏感的在线场景,应把Agent限制在异步链路上,同步链路仍用流程编排。
- 最后看合规边界。凡涉及不可逆副作用,无论采用哪种方案,都必须保留人工确认与可回滚设计。
八、迁移与实施注意事项
从方案A演进到方案B,不是替换而是叠加,需要重点关注:
- 工具契约先行:先完成能力工具化(明确的输入输出、错误码、幂等语义),再引入Agent。契约不清是后期返工的主要来源。
- 会话状态与数据存储分离:会话状态属于短周期、可丢弃的数据,应放在低延迟存储中并设置过期策略;业务数据仍留在业务库中,避免混用。
- 接口兼容与灰度:保留原有流程接口作为回退路径,用流量比例逐步放量,并对比新旧链路的解决率、转人工率与平均轮次。
- 权限与租户隔离:多渠道接入会带来多来源身份,需要统一身份认证与权限映射,确保Agent的工具调用继承调用者的权限,而不是使用一个高权限服务账号。
- 可观测性同步建设:轨迹追踪、评测回归、成本看板应在上线前就绪,否则线上问题不可定位、质量不可衡量。
- 容量与故障降级:为模型服务不可用准备降级路径(回退小规格模型、走缓存答案、直接转人工),避免Agent成为单点。
- 版本升级管理:模型版本、提示策略、工具集三者都会影响效果,应统一版本化并支持快速回退。
九、总结
两类方案的差异不在模型能力,而在控制权归属:方案A把控制权交给开发者编写的流程,方案B把它交给运行时的智能体。这一转移带来能力上限的提升,同时把不确定性从业务逻辑转移到了基础设施层——需要新增会话状态、工具执行沙箱、统一调用网关、全链路轨迹追踪、评测回归与成本治理能力。
这也正是Agent对AI基础设施的真实驱动力所在:推理负载从可预估的批式调用,变为高并发、长上下文、多次工具调用的在线负载;资源调度从”按峰值配置”变为”按并发会话与队列积压动态伸缩”;可观测性从接口指标延伸到决策轨迹;安全边界从数据权限扩展到工具权限与副作用控制。
选型的核心逻辑可以概括为一句话:当业务的路径不确定性高、长尾占比大,并且团队愿意承担配套基础设施的投入时,Agent原生架构更具优势;当路径明确、合规要求高、时延与成本敏感时,流程式架构仍是更稳妥的选择。多数企业的最优解,是按风险分层,把确定性交给流程,把开放性交给Agent。

登录后可评论,请前往 登录 或 注册