logo

后端转AI:架构、RAG与Tool Calling怎么选

作者:问题终结者2026.11.16 10:48浏览量:0

简介:面向有后端基础、想进入AI应用开发的同学,本文先讲清模型接入的2种途径、3种方式、4种调用和平台控制面与代码数据面的关系,再对比RAG、Tool Calling、MCP与Memory在触发机制、执行时机、耦合方式、安全治理和运维成本上的差异,并给出五层架构图、最小代码骨架、场景化选型建议和常见踩坑清单。

一、对比背景:不是技术难,而是概念混层

很多后端同学第一次接触AI应用开发,感受往往是”每个词单看都懂,连起来就乱”。其实这些名词处在三个不同维度:

  • 部署在哪:公有云上的托管模型服务,还是企业内网自建、私有化的模型服务;
  • 怎么接触:直接发HTTP请求,使用官方SDK或某类AI应用开发框架,还是通过模型上下文协议(MCP)一类的标准化协议连接外部工具;
  • 代码怎么写:检索增强生成(RAG)、工具调用(Tool Calling)、记忆(Memory)、拦截器(业界常称Advisor,可类比Java里的AOP切面)。

同一个问题,站在运维、架构、编码三个角度会得出三套叫法。例如”工具”在运维眼里是外部服务,在架构师眼里是系统边界,在编码者眼里只是一个注解。混着记,必然打结。

本文不逐个解释名词,而是把易混概念两两对比,涉及四组:

  1. RAG、Tool Calling、MCP与Memory:它们都在给模型”补上下文”,为什么行为差别这么大?
  2. 托管模型服务与自建部署(模型接入的”2种途径”);
  3. 裸HTTP/SDK、平台化统一接入、AI应用开发框架(”3种方式”);
  4. 模型服务平台与模型调用套件:就像原问题里某模型服务平台与某大模型调用套件的关系。

另外还包含一次问答的9步链路,以及5个实践中常见的坑。

二、先建立坐标系:五层架构一图看懂

任何AI应用,骨架都可以拆成五层(自上而下):

  1. ┌─────────────────────────────────────────────┐
  2. │ 接入层: HTTP/SSE(流式)、SDK、控制台 │
  3. ├─────────────────────────────────────────────┤
  4. │ 编排层: 前置拦截器 → 取记忆 → RAG检索 │
  5. │ → 模型调用 ⇄ 工具执行 → 后置拦截器 │
  6. ├─────────────────────────────────────────────┤
  7. │ 模型服务层: 对话模型 / 向量化模型 / 重排模型│
  8. ├─────────────────────────────────────────────┤
  9. │ 工具与数据层: 本地工具 / MCP工具服务 / │
  10. │ 向量库 / 关系库 / 对象存储 │
  11. ├─────────────────────────────────────────────┤
  12. │ 支撑层: 身份认证、日志、监控、配置与配额 │
  13. └─────────────────────────────────────────────┘

记住四个关键点,就能自己默画出这张图:

  1. 拦截器就是AOP:前置拦截器在请求进模型前动手,做敏感词过滤、拼接Prompt、注入检索结果;后置拦截器在响应出模型后动手,做落库记忆、打日志、脱敏。多个拦截器用排序注解控制顺序。这是AI应用开发框架相对裸调用最有价值的抽象之一:横切逻辑统一挂载,业务代码不用改。

  2. 四种能力不是平级调用:触发方式完全不同,详见第三节。

  3. 一次提问的真实链路是9步,其中第7步是循环:
    ① 用户提问 → ② 前置拦截器 → ③ 取记忆 → ④ RAG检索 → ⑤ 带工具定义的请求 → ⑥ 模型要求调用getWeather(上海) → ⑦ 反射执行被工具注解标注的方法 → ⑧ 结果回灌,再问一次(⑦⑧构成循环)→ ⑨ 最终答案流式吐字。

  4. 模型不会自己动手:它输出的是”调用意图”,真正执行的是你的代码。这也是日志里出现两轮Request/Response的原因:第一轮模型说”我要调工具”,第二轮模型才根据工具结果生成答案。

三、对比对象定义:四个”给模型补上下文”的模块

四者目标一致,都是把上下文窗口之外的信息送进Prompt,但形态不同。

  • RAG(检索增强生成):文档先经过切分、向量化、入库(离线ETL),用户提问时按相似度取回若干片段,拼进Prompt再交给模型。解决”模型不知道你公司内部知识”的问题。
  • Tool Calling(工具调用):你在代码里用注解声明一批方法,框架把名称、说明、参数结构作为工具定义随请求下发。模型判断需要时,返回”调用某方法+参数”,框架反射执行,再把结果作为一条消息回灌。解决”模型拿不到实时数据、做不了动作”的问题。
  • MCP(模型上下文协议):用一套开放协议把工具、数据资源、提示词模板从主程序里剥离出去,由独立进程提供。模型侧作为客户端连接,工具侧作为服务端注册能力。解决”工具跨语言、跨团队复用”的问题。
  • Memory(记忆):多轮对话中由框架自动把历史消息注入上下文。解决”模型每轮都失忆”的问题。

四、相同点:它们到底在做什么

  • 本质相同:都是在有限的上下文窗口里塞入额外信息,只是信息来源不同(知识库、实时接口、历史对话)。
  • 不扩展模型能力边界:模型本身的知识和能力没变,变的只是”这一轮它能看到什么”。模型没看到检索结果、也没看到工具定义时,它既不会去查知识库,也不会调用工具。
  • 治理需求一致:都需要身份认证、数据脱敏、日志审计、失败兜底,也都受首字延迟和单次请求成本约束。

五、核心差异:五个维度拆开看

5.1 触发机制:被动 vs 主动(最易混)

能力 谁决定用不用 代码里怎么配 触发性质
Tools(本地工具) 模型自己决定 .tools(new MyTools()) 被动触发
MCP(远程工具) 模型自己决定 注册MCP客户端 被动触发,跨进程
RAG 框架主动塞进Prompt 挂载检索类拦截器 主动注入
Memory 框架自动注入历史 挂载记忆类拦截器 自动注入

搞混这四者,就会写出”我明明配了知识库,模型怎么不查”这类问题。RAG不是你声明了就生效的被动能力,检索发生在请求到达模型之前;而工具是否执行,取决于模型这一轮的判断,代码只能声明,不能强迫。

5.2 执行时机:离线 vs 在线

环节 跑在哪 频率 典型耗时
文档切分、向量化、入库 离线ETL 文档变更时 秒到分钟级
检索(向量召回+重排) 在线 每次请求 十到百毫秒级
工具定义下发与反射执行 在线 模型要求时 毫秒级
MCP远程调用 在线 模型要求时 受网络往返影响
记忆注入 在线 每次请求 毫秒级

一句话:RAG是”离线建索引、在线查索引”;Tool Calling是”在线声明、按需执行”;MCP是”远程注册、按需调用”;Memory是”每轮自动带上”。

5.3 代码耦合与扩展边界

  • 本地工具:与业务同进程、同语言,调试方便、延迟最低,但每个应用都要各自实现一遍,升级需要跟着发版。
  • MCP工具:工具服务独立部署、独立发版,可被多个应用、多种语言复用。代价是多了一跳网络,并且要额外处理鉴权、超时、服务发现和能力协商(客户端与服务端确认双方支持的协议版本与能力范围)。
  • RAG:耦合在检索链路上(切分策略、向量化模型、向量库),换模型或换切分策略通常意味着重建索引。
  • Memory:耦合在会话标识与存储上,多实例部署时必须使用共享存储,不能依赖本地内存。

5.4 安全与合规

  • RAG:必须做文档级权限过滤。向量检索按相似度召回,天然不区分”谁能看哪段”,权限要在检索时作为过滤条件,或在召回后二次校验;否则会出现越权引用。
  • Tool Calling:本地执行,参数可控性最强,但仍需限制方法白名单,禁止模型指定任意类或方法。
  • MCP:多了一层跨进程边界。既要防止工具服务被任意客户端连接,也要防止模型通过工具参数做非预期操作。
  • Memory:历史消息会落库或进日志,涉及个人信息与留存周期,敏感字段要在后置拦截器里脱敏。

5.5 运维成本与故障面

  • RAG:主要成本在存储与离线任务调度,故障表现为”检索不到”或”召回噪声大”,可通过命中率、Top-K相关性监控。
  • Tool Calling:故障面在业务方法本身(超时、异常、参数不合法),需要把工具执行耗时与失败率单独打点。
  • MCP:故障面扩大到网络与进程生命周期,必须考虑服务不可用时的降级策略(例如直接告诉模型”该能力暂不可用”,而不是让它编造结果)。
  • Memory:主要成本是上下文膨胀带来的Token消耗,需要设定保留轮数或做摘要压缩。

六、汇总对比表

维度 RAG Tool Calling MCP Memory
解决什么 私域知识缺失 实时数据与动作 工具跨进程复用 多轮失忆
触发方 框架主动 模型决定 模型决定 框架自动
执行时机 请求前检索 请求中按需 请求中远程调用 每轮注入
部署形态 进程内+向量库 进程内 独立进程/服务 进程内或共享存储
是否多轮往返 否 是,可能多轮 是,可能多轮 否
主要风险 越权引用、召回差 参数错误、无限循环 网络超时、鉴权 Token膨胀、敏感留存
典型场景 文档问答、客服知识库 查库存、下单、算指标 多应用共用能力 多轮助手、个性化

七、最小可跑代码骨架

  1. // 假设已有 AI 应用开发框架:ChatClient 负责模型调用, Advisorr 类比 AOP 拦截器
  2. @RestController
  3. class ChatController {
  4. private final ChatClient chat; // 框架提供的模型客户端
  5. private final VectorStore vectorStore; // 向量库
  6. private final ChatMemory memory; // 会话记忆
  7. @PostMapping(value = "/chat", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
  8. public Flux<String> chat(@RequestParam String sessionId, @RequestParam String q) {
  9. // 1. 组装:拦截器链 + 工具声明 + RAG + 记忆
  10. return chat.prompt()
  11. .advisors(a -> a.param(ChatMemory.CONVERSATION_ID, sessionId)) // 取记忆
  12. .tools(new WeatherTools()) // 本地工具:模型可被动调用
  13. // .toolCallbacks(mcpToolCallbacks) // 换成 MCP 客户端提供的工具
  14. .user(u -> u.text(q)
  15. .param("search", retrieve(q))) // 检索结果,由框架主动注入
  16. .stream().content();
  17. }
  18. // 离线部分:RAG 的 ETL
  19. @PostConstruct
  20. void init() {
  21. List<String> chunks = splitter.split(loadDocuments()); // 切分
  22. vectorStore.add(chunks); // 内部完成向量化与入库
  23. }
  24. // 在线部分:检索
  25. private List<String> retrieve(String q) {
  26. return vectorStore.similaritySearch(SearchRequest.query(q).withTopK(4));
  27. }
  28. }
  29. // 本地工具:用注解声明,框架把描述与参数结构随请求下发
  30. class WeatherTools {
  31. @Tool(description = "查询指定城市的实时天气")
  32. public String getWeather(String city) {
  33. return weatherClient.query(city); // 真实实现省略
  34. }
  35. }

这段代码同时体现了三种方式的差异:裸HTTP/SDK方式下,工具声明、检索拼接、流式解析全部要自己写;平台化统一接入方式下,模型服务地址、鉴权和配额收拢到统一网关;框架方式下,RAG挂拦截器、工具挂注解、记忆挂会话标识,都是声明式配置。

八、选型建议:按条件判断,不给绝对答案

  • 知识来自文档、权限敏感:优先RAG,并把权限过滤做在检索环节,而不是靠Prompt叮嘱模型”不要回答越权内容”。
  • 需要实时数据或触发动作:用Tool Calling。工具粒度要小、描述要准、参数要做校验,并设置最大轮次(建议2~3轮)和单次工具超时。
  • 同一能力被多个应用、多种语言复用:考虑MCP,把工具从应用里剥离成独立服务,但要先评估网络时延与运维成本是否可接受。
  • 多轮对话、需要个性化:加Memory,同时设定保留轮数或摘要策略,避免上下文无限增长。
  • 团队运维能力有限、流量波动大:可优先考虑托管模型服务,把扩缩容和故障恢复交给平台方;若数据不能出域或有长期稳定的大批量推理需求,再评估自建部署。
  • 横切需求多(审核、脱敏、多模型切换、内容分发、身份认证):选带拦截器抽象的开发框架,比在每个接口里手写if-else更可控。
  • 模型管理、配额、密钥、日志需要一个统一入口:在百度智能云等主流云服务商的平台上,可以借助模型服务平台这类控制台类工具统一管理;而代码里调用的接口地址、鉴权方式,则属于模型调用套件这类数据面工具。二者是”管理与被管理”的关系,不是二选一。

九、迁移与踩坑注意事项

  1. 切换模型或接入方式,要重跑评测集。RAG的切分策略和向量化模型是绑定的,换向量化模型通常要重建索引;从裸调用迁到框架,默认的Prompt模板、拦截器顺序也可能改变输出风格。
  2. 流式输出会把”调用工具的中间轮”暴露出来。如果直接把流内容透传给前端,用户会看到模型在自言自语。需要在编排层过滤掉工具调用轮次,只把最终答

发表评论

活动