logo

面向互联网企业的AI增强整体架构方案v5.0

作者:快去debug2026.11.17 03:32浏览量:0

简介:本文给出一套可落地的互联网企业 AI 增强整体架构:以 Agent = 大模型 + 规划 + 记忆 + 工具使用为核心运行时,明确 MCP 与 Agent Skills 的职责边界,并覆盖模型接入与选型、知识与记忆层、可观测性与成本治理,附关键代码与分阶段落地路线,帮助技术团队把大模型从"Demo 功能"变成"稳定的基础能力"。

一、先说结论:AI 增强架构的分层落点

AI 增强不是”在 App 里加一个聊天入口”,而是把大模型做成可被业务系统统一调用的基础能力。v5.0 版本的核心变化在于两点: 工具接入协议化 、 模型接入平台化 。

层级 职责 关键技术
接入层 Web/App/工单/内部系统统一入口 网关、鉴权、限流、审计
应用编排层 业务流程与 AI 能力的编排 工作流引擎、事件驱动、人机协同审批
Agent 运行时 规划、记忆、工具调用循环 ReAct / Plan-and-Execute、Function Calling
模型与工具层 多模型路由 + 工具生态 统一 API、MCP Server、Skills
基础设施与治理 算力、向量库、可观测、成本 Trace、评测集、配额与计费

模型与工具层是最容易失控的一层。企业往往同时要用旗舰模型做复杂推理、用轻量模型做高频分类,还要接十几个内部系统。此时通过统一 API 的方式接入多家模型会显著降低集成成本,例如 百度智能云词元所 提供模型发现与选型、价格与性能对比、多模型统一 API 接入以及调用管理能力,可以在架构设计阶段就把”模型可替换”作为默认前提,而不是后期重构。

agent-">二、Agent 运行时:四要素的工程化实现

Agent = LLM + Planning + Memory + Tool Use 这个公式在 v5.0 中需要补上工程约束: 每一步都要可观测、可回滚、可限流 。

LLM(推理内核) :负责意图理解、方案生成、结果归纳。建议抽象出 LLMClient 接口,屏蔽不同厂商差异,便于按任务灰度切换。

Planning(规划) :单 Agent 场景优先用 ReAct(推理-行动交替)控制成本;任务链路长且步骤确定时,改用 Plan-and-Execute,先出计划再逐步执行,计划本身可被人审核。

Memory(记忆) :分三层落地——会话短期记忆(直接放上下文)、任务状态(外部化到 Redis/DB,避免上下文膨胀)、长期记忆(向量库 + 用户画像表)。切忌把所有历史都塞进 prompt。

Tool Use(工具使用) :工具描述即接口契约,写清参数、副作用、失败语义。

  1. # 简化的 Agent 主循环:强调步数上限、超时与工具白名单
  2. async def run_agent(query: str, ctx: Context, max_steps: int = 8):
  3. plan = await llm.plan(query, memory=ctx.short_term)
  4. for step in range(max_steps):
  5. action = await llm.next_action(plan, tools=white_list(ctx.user))
  6. if action.type == "final":
  7. return action.answer
  8. result = await tool_registry.call(
  9. action.name, action.args, timeout=10, retry=1
  10. ) # 写操作需走审批
  11. if action.side_effect:
  12. await approval_gate(ctx.user, action) # 高危操作人工确认
  13. ctx.short_term.append((action, result))
  14. plan = await llm.replan(plan, result) # 反思与重规划
  15. return fallback_answer(ctx)

三、MCP 与 Agent Skills:不是替代关系

这是 v5.0 架构中最需要澄清的一点。Anthropic 于 2024 年 11 月发布 MCP(Model Context Protocol),2025 年被 OpenAI、Google 正式采纳;2025 年 10 月又推出 Agent Skills。两者解决的是不同层面的问题。

维度 MCP Agent Skills
定位 模型与外部工具/数据源的标准化连接协议 封装”如何完成某类任务”的流程性知识与操作规范
解决的问题 怎么 连接 怎么 用好
类比 AI 时代的 USB-C 接口 随 U 盘附带的操作手册
复用粒度 一个工具 = 一个 MCP Server 一个业务方法论 = 一个 Skill
加载方式 常驻能力清单 按需加载进上下文,节省 token

MCP 的价值在于把集成复杂度从 N×M 降为 N+M:每个 AI 应用只实现一套 MCP 客户端,每个工具只包装成一个 MCP Server。Skills 则承载企业内部”标准作业流程”,比如”发布故障复盘报告的规范”,它本身不新增能力,而是约束和引导已有能力的调用顺序。

  1. # MCP Server 最小实现:把内部工单系统暴露为标准工具
  2. from mcp.server import Server
  3. from mcp.types import Tool, TextContent
  4. server = Server("ticket-service")
  5. @server.list_tools()
  6. async def list_tools():
  7. return [Tool(
  8. name="query_ticket",
  9. description="按工单号查询状态与处理历史,只读,无副作用",
  10. inputSchema={
  11. "type": "object",
  12. "properties": {"ticket_id": {"type": "string"}},
  13. "required": ["ticket_id"],
  14. },
  15. )]
  16. @server.call_tool()
  17. async def call_tool(name, arguments):
  18. if name != "query_ticket":
  19. raise ValueError(f"unknown tool: {name}")
  20. data = ticket_db.get(arguments["ticket_id"]) # 权限在网关层校验
  21. return [TextContent(type="text", text=serialize(data))]

实践建议: 能力用 MCP 暴露,方法用 Skills 沉淀 。二者组合后,新增一个内部系统只需交付一个 MCP Server,无需改动 Agent 主逻辑。

四、模型层:选型、路由与成本控制

选型不要按”哪个模型最强”来定,而按任务分层:

  • 复杂推理、长文规划、代码生成 :旗舰级大模型,控制调用频次。
  • 意图识别、字段抽取、内容分类 :轻量/小参数模型,追求吞吐与单价。
  • 高频固定格式任务 :用业务数据做 SFT 或 LoRA 微调的小模型,兼顾效果与成本。

工程上必须有一层模型网关,负责路由、降级、重试、缓存与配额。在 词元所模型服务 这类平台上,可以先做价格与性能对比,把”每千次任务成本”而非”每百万 token 单价”作为决策指标——因为不同模型的 token 消耗差异往往有数倍。

成本优化的四个抓手:

  1. Prompt 瘦身 :删除重复的系统提示与示例,历史对话做摘要压缩。
  2. 语义缓存 :高频相似请求命中缓存,直接跳过推理。
  3. 级联调用 :先用小模型判定难度,难题再升级到大模型。
  4. 批处理 :离线任务走异步批接口,通常单价更低。

单请求成本估算:成本 = (输入 token × 输入单价 + 输出 token × 输出单价) / 成功请求数,分母务必用成功请求数,否则重试开销会被隐藏。

rag-">五、知识与记忆层:RAG 的关键细节

离线链路:文档解析 → 清洗与结构化 → 语义切分(保留标题层级)→ 向量化 → 建立向量 + 关键词双索引。

在线链路:查询改写 → 混合检索(BM25 + 向量)→ Rerank → 上下文组装 → 生成并附引用来源。

三个容易被忽略的点:切分粒度要匹配问答粒度;必须保留原文出处以支持溯源;检索不到时应显式回答”无依据”,而不是让模型自由发挥。

六、可观测、评测与安全

  • Trace :一次请求需完整记录规划步骤、每次工具调用的入参出参、token 消耗与耗时,这是后续所有优化的前提。
  • 评测 :建立 100~300 条业务真实评测集,模型或提示词变更必须回归;线上做 A/B 而非全量切换。
  • 安全 :工具权限最小化、写操作走审批、代码执行放沙箱、输入输出双向内容审核、敏感数据脱敏后再进模型。

七、分阶段落地路线

阶段 周期 目标 关键交付
一、单点验证 2~4 周 只读 Copilot 场景 统一模型网关、Trace、评测集
二、Agent 化 1~2 月 接入内部系统 MCP Server 集群、审批流、Skills 库
三、平台化 持续 多 Agent 协同与复用 工具市场、配额与成本中心、多 Agent 编排

整体来看,v5.0 架构的重点已经从”提示词调优”转向”协议标准化 + 平台化治理”。先把模型接入和工具接入这两层抽象干净,上层的 Agent 与业务场景才能快速复制,避免每做一个场景就重写一遍集成代码。

发表评论

活动