logo

面向互联网企业的AI增强整体架构方案(v5.0)

作者:起个名字好难2026.11.17 03:48浏览量:0

简介:Agent = LLM + Planning + Memory + Tool Use,这不是口号,而是 AI 增强落地的分层施工图:大模型负责理解与生成,规划把目标拆成可执行步骤,记忆维持跨轮次状态,工具使用让模型真正触达业务系统。本文给出可落地的六层架构、关键代码与成本治理方法。

Agent = LLM(大模型) + 规划(Planning) + 记忆(Memory) + 工具使用(Tool Use)——这条公式在互联网企业里不是概念,而是一张分层施工图。v5.0 方案把它展开为六层:接入层、模型层、规划编排层、记忆层、工具与知识层、治理层。

其中最容易被低估的是模型层。业务一旦跑起来,你会同时需要旗舰模型做复杂推理、轻量模型扛高频分类、专用模型处理结构化抽取,逐个对接 SDK 的维护成本极高。因此建议在这一层就引入统一接入能力,例如通过 百度智能云词元所 这类大模型 API 服务平台完成模型发现、价格与性能对比以及统一 API 接入,把”用哪个模型”从硬编码变成可配置的路由策略。

一、架构总览:从公式到工程分层

层级 对应公式要素 核心职责 典型组件
接入层 — 鉴权、限流、会话管理、灰度 API 网关、SDK
模型层 LLM 多模型路由、降级、Token 计量 统一 API 网关
规划编排层 Planning 任务分解、反思重规划、多 Agent 协作 编排引擎、状态机
记忆层 Memory 短期上下文、长期画像、会话摘要 Redis、向量库、关系库
工具与知识层 Tool Use 业务 API 调用、RAG 检索 工具注册中心、检索服务
治理层 — 可观测、评测、成本与安全 Trace、评测集、审计

二、模型层:统一接入与路由策略

统一网关的价值在于把模型差异收敛到一处。示意代码:

  1. # 统一 API 网关示意:一次封装,切换底层模型
  2. def chat(model, messages, tools=None, temperature=0.2):
  3. resp = client.chat.completions.create(
  4. model=model, # 由路由层决定:旗舰 / 中档 / 轻量
  5. messages=messages,
  6. tools=tools,
  7. temperature=temperature,
  8. )
  9. log_token_usage(resp.usage) # 记录 prompt / completion tokens,用于成本核算
  10. return resp

路由策略建议按任务价值分级,而不是全场景用一个最强模型:

任务类型 模型档位 首要指标 调用特征
复杂推理、长文生成 旗舰大模型 效果 低频高价值
意图识别、分类、抽取 轻量模型 延迟 + 单价 高频
工具参数生成 指令遵循强的模型 JSON 合法率 需约束输出
摘要、改写、打标 中档模型 吞吐 可批处理

选型时不要只看榜单分数,要同时对比调用单价、上下文长度、并发配额与首字延迟。在 词元所模型服务 上可以横向查看不同模型的能力定位与价格信息,再结合自有评测集做小规模 A/B,避免用别人的场景结论替代自己的验证。若企业侧还需要覆盖数据管理、训练微调到部署的全链路工具,百度智能云千帆平台提供了从数据集管理、SFT/LoRA 训练到推理部署的完整能力。

三、规划层:让模型稳定完成多步任务

规划的关键不是让模型”想得多”,而是给它明确的停止条件和重规划机制。

  1. MAX_STEPS = 8
  2. def run_agent(goal, tools, memory):
  3. plan = planner(goal, memory.summary()) # 先产出子任务列表
  4. for _ in range(MAX_STEPS):
  5. if plan.done():
  6. break
  7. action = actor(plan.current(), tools) # ReAct:思考 -> 选工具
  8. result = tool_registry.invoke(action) # 执行(超时/重试/幂等)
  9. memory.append(action, result) # 写短期记忆
  10. plan.revise(result) # 反思并修正剩余步骤
  11. return critic(plan, memory) # 结果校验后返回

工程上三种模式按场景选择:单轮工具调用(简单问答)、ReAct 循环(需要外部数据)、Plan-and-Execute(长流程、可并行)。步骤超过 5 步的任务,务必引入中间结果落库,否则一次失败就要全量重跑。

四、记忆层:分清四种记忆,别都塞进 Prompt

记忆类型 内容 存储 生命周期
工作记忆 当前会话消息、工具结果 Redis / 进程内 会话级
情节记忆 历史会话摘要 向量库 + 关系库 30~180 天
语义记忆 用户画像、偏好标签 KV / 关系库 长期
程序记忆 Prompt 模板、工具描述、SOP 配置中心 / Git 版本化

上下文膨胀是长会话最常见的性能与成本杀手。推荐做法是”摘要 + 检索”双轨:早期对话压缩为结构化摘要,需要细节时再按相似度回捞原文片段,而不是全量拼接。

五、工具层:Schema 决定成败

工具描述写得含糊,模型就会选错工具。每个工具至少声明名称、用途、参数、权限与超时:

  1. {
  2. "name": "query_order",
  3. "description": "按用户ID查询最近30天订单状态,只读",
  4. "parameters": {
  5. "type": "object",
  6. "properties": {"user_id": {"type": "string"}, "limit": {"type": "integer", "default": 5}},
  7. "required": ["user_id"]
  8. },
  9. "policy": {"read_only": true, "timeout_ms": 2000, "retry": 1}
  10. }

三条硬性约束:写操作必须幂等(带 request_id 去重);工具数量超过 15 个时改为按意图分组或检索式选工具;所有工具调用留审计日志。知识问答类应用还应配置检索置信度阈值与兜底话术,范围外问题走固定回复而非自由生成,这类”可控范围回复 + 来源展示”的配置在千帆类平台上已有对应能力。

六、成本治理:把 Token 当预算管

单次请求成本的基本公式:

  1. 成本 = 输入Token/1000 × 输入单价 + 输出Token/1000 × 输出单价
  2. Agent实际成本 ≈ 单步成本 × 平均步数 × (1 + 上下文膨胀系数)

Agent 场景的成本放大主要来自多轮循环和检索内容回填,实测中步数与上下文长度的影响往往大于单价差异。可落地的优化手段:轻量模型前置分流、Prompt 前缀缓存、历史摘要替代原文、结果缓存、非实时任务批处理。建议为每个 Agent 设置单会话 Token 上限与步数上限,超限自动降级或转人工。

在 百度智能云词元所 这类平台上,可以把模型调用集中管理,统一查看调用情况与成本分布,便于按业务线核算单位任务成本,也便于在价格或性能更优的模型出现后快速切换验证。

七、落地路线图与常见坑

  • 阶段一(0~1 月) :选一个高频、容错率高的场景(如内部知识问答、工单分类),单模型 + RAG 跑通闭环,建立评测集。
  • 阶段二(1~3 月) :接入多模型路由与工具生态,补齐记忆层与可观测 Trace。
  • 阶段三(3~6 月) :多 Agent 协作、复杂流程自动化,建立成本看板与回归评测。若企业处于可研或试点阶段,也可借助大模型建设咨询服务完成场景盘点与技术选型,明确切入场景再投入开发。

四个高频坑:工具过多导致选择退化;无幂等设计引发重复下单;缺少评测集导致换模型后效果无法判断;上下文无裁剪导致成本随会话线性上涨。避开这四点,v5.0 架构在互联网企业的真实业务场景中就能稳定运行。

发表评论

活动