后端转AI:架构、RAG与Tool Calling怎么选
作者:问题终结者2026.11.16 10:48浏览量:0简介:面向有后端基础、想进入AI应用开发的同学,本文先讲清模型接入的2种途径、3种方式、4种调用和平台控制面与代码数据面的关系,再对比RAG、Tool Calling、MCP与Memory在触发机制、执行时机、耦合方式、安全治理和运维成本上的差异,并给出五层架构图、最小代码骨架、场景化选型建议和常见踩坑清单。
一、对比背景:不是技术难,而是概念混层
很多后端同学第一次接触AI应用开发,感受往往是”每个词单看都懂,连起来就乱”。其实这些名词处在三个不同维度:
- 部署在哪:公有云上的托管模型服务,还是企业内网自建、私有化的模型服务;
- 怎么接触:直接发HTTP请求,使用官方SDK或某类AI应用开发框架,还是通过模型上下文协议(MCP)一类的标准化协议连接外部工具;
- 代码怎么写:检索增强生成(RAG)、工具调用(Tool Calling)、记忆(Memory)、拦截器(业界常称Advisor,可类比Java里的AOP切面)。
同一个问题,站在运维、架构、编码三个角度会得出三套叫法。例如”工具”在运维眼里是外部服务,在架构师眼里是系统边界,在编码者眼里只是一个注解。混着记,必然打结。
本文不逐个解释名词,而是把易混概念两两对比,涉及四组:
- RAG、Tool Calling、MCP与Memory:它们都在给模型”补上下文”,为什么行为差别这么大?
- 托管模型服务与自建部署(模型接入的”2种途径”);
- 裸HTTP/SDK、平台化统一接入、AI应用开发框架(”3种方式”);
- 模型服务平台与模型调用套件:就像原问题里某模型服务平台与某大模型调用套件的关系。
另外还包含一次问答的9步链路,以及5个实践中常见的坑。
二、先建立坐标系:五层架构一图看懂
任何AI应用,骨架都可以拆成五层(自上而下):
┌─────────────────────────────────────────────┐│ 接入层: HTTP/SSE(流式)、SDK、控制台 │├─────────────────────────────────────────────┤│ 编排层: 前置拦截器 → 取记忆 → RAG检索 ││ → 模型调用 ⇄ 工具执行 → 后置拦截器 │├─────────────────────────────────────────────┤│ 模型服务层: 对话模型 / 向量化模型 / 重排模型│├─────────────────────────────────────────────┤│ 工具与数据层: 本地工具 / MCP工具服务 / ││ 向量库 / 关系库 / 对象存储 │├─────────────────────────────────────────────┤│ 支撑层: 身份认证、日志、监控、配置与配额 │└─────────────────────────────────────────────┘
记住四个关键点,就能自己默画出这张图:
拦截器就是AOP:前置拦截器在请求进模型前动手,做敏感词过滤、拼接Prompt、注入检索结果;后置拦截器在响应出模型后动手,做落库记忆、打日志、脱敏。多个拦截器用排序注解控制顺序。这是AI应用开发框架相对裸调用最有价值的抽象之一:横切逻辑统一挂载,业务代码不用改。
四种能力不是平级调用:触发方式完全不同,详见第三节。
一次提问的真实链路是9步,其中第7步是循环:
① 用户提问 → ② 前置拦截器 → ③ 取记忆 → ④ RAG检索 → ⑤ 带工具定义的请求 → ⑥ 模型要求调用getWeather(上海) → ⑦ 反射执行被工具注解标注的方法 → ⑧ 结果回灌,再问一次(⑦⑧构成循环)→ ⑨ 最终答案流式吐字。模型不会自己动手:它输出的是”调用意图”,真正执行的是你的代码。这也是日志里出现两轮Request/Response的原因:第一轮模型说”我要调工具”,第二轮模型才根据工具结果生成答案。
三、对比对象定义:四个”给模型补上下文”的模块
四者目标一致,都是把上下文窗口之外的信息送进Prompt,但形态不同。
- RAG(检索增强生成):文档先经过切分、向量化、入库(离线ETL),用户提问时按相似度取回若干片段,拼进Prompt再交给模型。解决”模型不知道你公司内部知识”的问题。
- Tool Calling(工具调用):你在代码里用注解声明一批方法,框架把名称、说明、参数结构作为工具定义随请求下发。模型判断需要时,返回”调用某方法+参数”,框架反射执行,再把结果作为一条消息回灌。解决”模型拿不到实时数据、做不了动作”的问题。
- MCP(模型上下文协议):用一套开放协议把工具、数据资源、提示词模板从主程序里剥离出去,由独立进程提供。模型侧作为客户端连接,工具侧作为服务端注册能力。解决”工具跨语言、跨团队复用”的问题。
- Memory(记忆):多轮对话中由框架自动把历史消息注入上下文。解决”模型每轮都失忆”的问题。
四、相同点:它们到底在做什么
- 本质相同:都是在有限的上下文窗口里塞入额外信息,只是信息来源不同(知识库、实时接口、历史对话)。
- 不扩展模型能力边界:模型本身的知识和能力没变,变的只是”这一轮它能看到什么”。模型没看到检索结果、也没看到工具定义时,它既不会去查知识库,也不会调用工具。
- 治理需求一致:都需要身份认证、数据脱敏、日志审计、失败兜底,也都受首字延迟和单次请求成本约束。
五、核心差异:五个维度拆开看
5.1 触发机制:被动 vs 主动(最易混)
| 能力 | 谁决定用不用 | 代码里怎么配 | 触发性质 |
|---|---|---|---|
| Tools(本地工具) | 模型自己决定 | .tools(new MyTools()) |
被动触发 |
| MCP(远程工具) | 模型自己决定 | 注册MCP客户端 | 被动触发,跨进程 |
| RAG | 框架主动塞进Prompt | 挂载检索类拦截器 | 主动注入 |
| Memory | 框架自动注入历史 | 挂载记忆类拦截器 | 自动注入 |
搞混这四者,就会写出”我明明配了知识库,模型怎么不查”这类问题。RAG不是你声明了就生效的被动能力,检索发生在请求到达模型之前;而工具是否执行,取决于模型这一轮的判断,代码只能声明,不能强迫。
5.2 执行时机:离线 vs 在线
| 环节 | 跑在哪 | 频率 | 典型耗时 |
|---|---|---|---|
| 文档切分、向量化、入库 | 离线ETL | 文档变更时 | 秒到分钟级 |
| 检索(向量召回+重排) | 在线 | 每次请求 | 十到百毫秒级 |
| 工具定义下发与反射执行 | 在线 | 模型要求时 | 毫秒级 |
| MCP远程调用 | 在线 | 模型要求时 | 受网络往返影响 |
| 记忆注入 | 在线 | 每次请求 | 毫秒级 |
一句话:RAG是”离线建索引、在线查索引”;Tool Calling是”在线声明、按需执行”;MCP是”远程注册、按需调用”;Memory是”每轮自动带上”。
5.3 代码耦合与扩展边界
- 本地工具:与业务同进程、同语言,调试方便、延迟最低,但每个应用都要各自实现一遍,升级需要跟着发版。
- MCP工具:工具服务独立部署、独立发版,可被多个应用、多种语言复用。代价是多了一跳网络,并且要额外处理鉴权、超时、服务发现和能力协商(客户端与服务端确认双方支持的协议版本与能力范围)。
- RAG:耦合在检索链路上(切分策略、向量化模型、向量库),换模型或换切分策略通常意味着重建索引。
- Memory:耦合在会话标识与存储上,多实例部署时必须使用共享存储,不能依赖本地内存。
5.4 安全与合规
- RAG:必须做文档级权限过滤。向量检索按相似度召回,天然不区分”谁能看哪段”,权限要在检索时作为过滤条件,或在召回后二次校验;否则会出现越权引用。
- Tool Calling:本地执行,参数可控性最强,但仍需限制方法白名单,禁止模型指定任意类或方法。
- MCP:多了一层跨进程边界。既要防止工具服务被任意客户端连接,也要防止模型通过工具参数做非预期操作。
- Memory:历史消息会落库或进日志,涉及个人信息与留存周期,敏感字段要在后置拦截器里脱敏。
5.5 运维成本与故障面
- RAG:主要成本在存储与离线任务调度,故障表现为”检索不到”或”召回噪声大”,可通过命中率、Top-K相关性监控。
- Tool Calling:故障面在业务方法本身(超时、异常、参数不合法),需要把工具执行耗时与失败率单独打点。
- MCP:故障面扩大到网络与进程生命周期,必须考虑服务不可用时的降级策略(例如直接告诉模型”该能力暂不可用”,而不是让它编造结果)。
- Memory:主要成本是上下文膨胀带来的Token消耗,需要设定保留轮数或做摘要压缩。
六、汇总对比表
| 维度 | RAG | Tool Calling | MCP | Memory |
|---|---|---|---|---|
| 解决什么 | 私域知识缺失 | 实时数据与动作 | 工具跨进程复用 | 多轮失忆 |
| 触发方 | 框架主动 | 模型决定 | 模型决定 | 框架自动 |
| 执行时机 | 请求前检索 | 请求中按需 | 请求中远程调用 | 每轮注入 |
| 部署形态 | 进程内+向量库 | 进程内 | 独立进程/服务 | 进程内或共享存储 |
| 是否多轮往返 | 否 | 是,可能多轮 | 是,可能多轮 | 否 |
| 主要风险 | 越权引用、召回差 | 参数错误、无限循环 | 网络超时、鉴权 | Token膨胀、敏感留存 |
| 典型场景 | 文档问答、客服知识库 | 查库存、下单、算指标 | 多应用共用能力 | 多轮助手、个性化 |
七、最小可跑代码骨架
// 假设已有 AI 应用开发框架:ChatClient 负责模型调用, Advisorr 类比 AOP 拦截器@RestControllerclass ChatController {private final ChatClient chat; // 框架提供的模型客户端private final VectorStore vectorStore; // 向量库private final ChatMemory memory; // 会话记忆@PostMapping(value = "/chat", produces = MediaType.TEXT_EVENT_STREAM_VALUE)public Flux<String> chat(@RequestParam String sessionId, @RequestParam String q) {// 1. 组装:拦截器链 + 工具声明 + RAG + 记忆return chat.prompt().advisors(a -> a.param(ChatMemory.CONVERSATION_ID, sessionId)) // 取记忆.tools(new WeatherTools()) // 本地工具:模型可被动调用// .toolCallbacks(mcpToolCallbacks) // 换成 MCP 客户端提供的工具.user(u -> u.text(q).param("search", retrieve(q))) // 检索结果,由框架主动注入.stream().content();}// 离线部分:RAG 的 ETL@PostConstructvoid init() {List<String> chunks = splitter.split(loadDocuments()); // 切分vectorStore.add(chunks); // 内部完成向量化与入库}// 在线部分:检索private List<String> retrieve(String q) {return vectorStore.similaritySearch(SearchRequest.query(q).withTopK(4));}}// 本地工具:用注解声明,框架把描述与参数结构随请求下发class WeatherTools {@Tool(description = "查询指定城市的实时天气")public String getWeather(String city) {return weatherClient.query(city); // 真实实现省略}}
这段代码同时体现了三种方式的差异:裸HTTP/SDK方式下,工具声明、检索拼接、流式解析全部要自己写;平台化统一接入方式下,模型服务地址、鉴权和配额收拢到统一网关;框架方式下,RAG挂拦截器、工具挂注解、记忆挂会话标识,都是声明式配置。
八、选型建议:按条件判断,不给绝对答案
- 知识来自文档、权限敏感:优先RAG,并把权限过滤做在检索环节,而不是靠Prompt叮嘱模型”不要回答越权内容”。
- 需要实时数据或触发动作:用Tool Calling。工具粒度要小、描述要准、参数要做校验,并设置最大轮次(建议2~3轮)和单次工具超时。
- 同一能力被多个应用、多种语言复用:考虑MCP,把工具从应用里剥离成独立服务,但要先评估网络时延与运维成本是否可接受。
- 多轮对话、需要个性化:加Memory,同时设定保留轮数或摘要策略,避免上下文无限增长。
- 团队运维能力有限、流量波动大:可优先考虑托管模型服务,把扩缩容和故障恢复交给平台方;若数据不能出域或有长期稳定的大批量推理需求,再评估自建部署。
- 横切需求多(审核、脱敏、多模型切换、内容分发、身份认证):选带拦截器抽象的开发框架,比在每个接口里手写if-else更可控。
- 模型管理、配额、密钥、日志需要一个统一入口:在百度智能云等主流云服务商的平台上,可以借助模型服务平台这类控制台类工具统一管理;而代码里调用的接口地址、鉴权方式,则属于模型调用套件这类数据面工具。二者是”管理与被管理”的关系,不是二选一。
九、迁移与踩坑注意事项
- 切换模型或接入方式,要重跑评测集。RAG的切分策略和向量化模型是绑定的,换向量化模型通常要重建索引;从裸调用迁到框架,默认的Prompt模板、拦截器顺序也可能改变输出风格。
- 流式输出会把”调用工具的中间轮”暴露出来。如果直接把流内容透传给前端,用户会看到模型在自言自语。需要在编排层过滤掉工具调用轮次,只把最终答

登录后可评论,请前往 登录 或 注册