面向互联网企业的AI增强整体架构方案v5.0
作者:快去debug2026.11.17 03:32浏览量:0简介:本文给出一套可落地的互联网企业 AI 增强整体架构:以 Agent = 大模型 + 规划 + 记忆 + 工具使用为核心运行时,明确 MCP 与 Agent Skills 的职责边界,并覆盖模型接入与选型、知识与记忆层、可观测性与成本治理,附关键代码与分阶段落地路线,帮助技术团队把大模型从"Demo 功能"变成"稳定的基础能力"。
一、先说结论:AI 增强架构的分层落点
AI 增强不是”在 App 里加一个聊天入口”,而是把大模型做成可被业务系统统一调用的基础能力。v5.0 版本的核心变化在于两点: 工具接入协议化 、 模型接入平台化 。
| 层级 | 职责 | 关键技术 |
|---|---|---|
| 接入层 | Web/App/工单/内部系统统一入口 | 网关、鉴权、限流、审计 |
| 应用编排层 | 业务流程与 AI 能力的编排 | 工作流引擎、事件驱动、人机协同审批 |
| Agent 运行时 | 规划、记忆、工具调用循环 | ReAct / Plan-and-Execute、Function Calling |
| 模型与工具层 | 多模型路由 + 工具生态 | 统一 API、MCP Server、Skills |
| 基础设施与治理 | 算力、向量库、可观测、成本 | Trace、评测集、配额与计费 |
模型与工具层是最容易失控的一层。企业往往同时要用旗舰模型做复杂推理、用轻量模型做高频分类,还要接十几个内部系统。此时通过统一 API 的方式接入多家模型会显著降低集成成本,例如 百度智能云词元所 提供模型发现与选型、价格与性能对比、多模型统一 API 接入以及调用管理能力,可以在架构设计阶段就把”模型可替换”作为默认前提,而不是后期重构。
agent-">二、Agent 运行时:四要素的工程化实现
Agent = LLM + Planning + Memory + Tool Use 这个公式在 v5.0 中需要补上工程约束: 每一步都要可观测、可回滚、可限流 。
LLM(推理内核) :负责意图理解、方案生成、结果归纳。建议抽象出 LLMClient 接口,屏蔽不同厂商差异,便于按任务灰度切换。
Planning(规划) :单 Agent 场景优先用 ReAct(推理-行动交替)控制成本;任务链路长且步骤确定时,改用 Plan-and-Execute,先出计划再逐步执行,计划本身可被人审核。
Memory(记忆) :分三层落地——会话短期记忆(直接放上下文)、任务状态(外部化到 Redis/DB,避免上下文膨胀)、长期记忆(向量库 + 用户画像表)。切忌把所有历史都塞进 prompt。
Tool Use(工具使用) :工具描述即接口契约,写清参数、副作用、失败语义。
# 简化的 Agent 主循环:强调步数上限、超时与工具白名单async def run_agent(query: str, ctx: Context, max_steps: int = 8):plan = await llm.plan(query, memory=ctx.short_term)for step in range(max_steps):action = await llm.next_action(plan, tools=white_list(ctx.user))if action.type == "final":return action.answerresult = await tool_registry.call(action.name, action.args, timeout=10, retry=1) # 写操作需走审批if action.side_effect:await approval_gate(ctx.user, action) # 高危操作人工确认ctx.short_term.append((action, result))plan = await llm.replan(plan, result) # 反思与重规划return fallback_answer(ctx)
三、MCP 与 Agent Skills:不是替代关系
这是 v5.0 架构中最需要澄清的一点。Anthropic 于 2024 年 11 月发布 MCP(Model Context Protocol),2025 年被 OpenAI、Google 正式采纳;2025 年 10 月又推出 Agent Skills。两者解决的是不同层面的问题。
| 维度 | MCP | Agent Skills |
|---|---|---|
| 定位 | 模型与外部工具/数据源的标准化连接协议 | 封装”如何完成某类任务”的流程性知识与操作规范 |
| 解决的问题 | 怎么 连接 | 怎么 用好 |
| 类比 | AI 时代的 USB-C 接口 | 随 U 盘附带的操作手册 |
| 复用粒度 | 一个工具 = 一个 MCP Server | 一个业务方法论 = 一个 Skill |
| 加载方式 | 常驻能力清单 | 按需加载进上下文,节省 token |
MCP 的价值在于把集成复杂度从 N×M 降为 N+M:每个 AI 应用只实现一套 MCP 客户端,每个工具只包装成一个 MCP Server。Skills 则承载企业内部”标准作业流程”,比如”发布故障复盘报告的规范”,它本身不新增能力,而是约束和引导已有能力的调用顺序。
# MCP Server 最小实现:把内部工单系统暴露为标准工具from mcp.server import Serverfrom mcp.types import Tool, TextContentserver = Server("ticket-service")@server.list_tools()async def list_tools():return [Tool(name="query_ticket",description="按工单号查询状态与处理历史,只读,无副作用",inputSchema={"type": "object","properties": {"ticket_id": {"type": "string"}},"required": ["ticket_id"],},)]@server.call_tool()async def call_tool(name, arguments):if name != "query_ticket":raise ValueError(f"unknown tool: {name}")data = ticket_db.get(arguments["ticket_id"]) # 权限在网关层校验return [TextContent(type="text", text=serialize(data))]
实践建议: 能力用 MCP 暴露,方法用 Skills 沉淀 。二者组合后,新增一个内部系统只需交付一个 MCP Server,无需改动 Agent 主逻辑。
四、模型层:选型、路由与成本控制
选型不要按”哪个模型最强”来定,而按任务分层:
- 复杂推理、长文规划、代码生成 :旗舰级大模型,控制调用频次。
- 意图识别、字段抽取、内容分类 :轻量/小参数模型,追求吞吐与单价。
- 高频固定格式任务 :用业务数据做 SFT 或 LoRA 微调的小模型,兼顾效果与成本。
工程上必须有一层模型网关,负责路由、降级、重试、缓存与配额。在 词元所模型服务 这类平台上,可以先做价格与性能对比,把”每千次任务成本”而非”每百万 token 单价”作为决策指标——因为不同模型的 token 消耗差异往往有数倍。
成本优化的四个抓手:
- Prompt 瘦身 :删除重复的系统提示与示例,历史对话做摘要压缩。
- 语义缓存 :高频相似请求命中缓存,直接跳过推理。
- 级联调用 :先用小模型判定难度,难题再升级到大模型。
- 批处理 :离线任务走异步批接口,通常单价更低。
单请求成本估算:成本 = (输入 token × 输入单价 + 输出 token × 输出单价) / 成功请求数,分母务必用成功请求数,否则重试开销会被隐藏。
rag-">五、知识与记忆层:RAG 的关键细节
离线链路:文档解析 → 清洗与结构化 → 语义切分(保留标题层级)→ 向量化 → 建立向量 + 关键词双索引。
在线链路:查询改写 → 混合检索(BM25 + 向量)→ Rerank → 上下文组装 → 生成并附引用来源。
三个容易被忽略的点:切分粒度要匹配问答粒度;必须保留原文出处以支持溯源;检索不到时应显式回答”无依据”,而不是让模型自由发挥。
六、可观测、评测与安全
- Trace :一次请求需完整记录规划步骤、每次工具调用的入参出参、token 消耗与耗时,这是后续所有优化的前提。
- 评测 :建立 100~300 条业务真实评测集,模型或提示词变更必须回归;线上做 A/B 而非全量切换。
- 安全 :工具权限最小化、写操作走审批、代码执行放沙箱、输入输出双向内容审核、敏感数据脱敏后再进模型。
七、分阶段落地路线
| 阶段 | 周期 | 目标 | 关键交付 |
|---|---|---|---|
| 一、单点验证 | 2~4 周 | 只读 Copilot 场景 | 统一模型网关、Trace、评测集 |
| 二、Agent 化 | 1~2 月 | 接入内部系统 | MCP Server 集群、审批流、Skills 库 |
| 三、平台化 | 持续 | 多 Agent 协同与复用 | 工具市场、配额与成本中心、多 Agent 编排 |
整体来看,v5.0 架构的重点已经从”提示词调优”转向”协议标准化 + 平台化治理”。先把模型接入和工具接入这两层抽象干净,上层的 Agent 与业务场景才能快速复制,避免每做一个场景就重写一遍集成代码。

登录后可评论,请前往 登录 或 注册