RAG为什么越用越慢:简易检索与多阶段链路对比
作者:KAKAKA2026.11.16 10:52浏览量:0简介:本文对比"简易检索RAG"与"多阶段生产级RAG"两类实现,并借助TTFT、ITL两个延迟指标,拆解RAG"越用越慢"的真正成因:是检索链路变长,还是上下文变大拉高了prefill。读完你将能定位延迟发生在哪一环节,并按文档规模、权限复杂度、准确性要求做出条件化选型。
rag-">一、对比背景:为什么”RAG 越用越慢”
很多RAG应用刚上线时体验很轻快,用户提问后很快就能收到第一段回答。但随着知识库文档增多、权限体系变复杂、检索链路不断叠加组件,体验会明显下滑:提交问题后先”空等几秒”,首token出来之后,后续内容又像一段一段挤出来。
这种现象常被简单归因为”模型慢”或”向量库慢”,但RAG的响应时间其实是一条链路。从用户提问到最终吐字,依次经过query改写、embedding、向量检索、rerank、上下文拼接、LLM prefill、decode,以及KV Cache管理。链路上任何一段都可能把总延迟推高,而不同架构形态下,被推高的往往不是同一段。
因此本文不讨论”哪个更好”,而是把两种典型实现放在一起,说明它们在延迟结构上的差异,帮助你在具体业务里判断该停留在简易形态,还是引入完整链路。
二、对象定义:两个对比对象 + 两个衡量指标
对象A:简易检索RAG(基础链路)
最朴素的实现是:用户问题进来 → 做embedding → 向量库top-k检索 → 把召回的chunk拼进prompt → 让模型回答。它的链路短、组件少,延迟主要集中在”检索+一次prefill”。
对象B:多阶段/生产级RAG(完整链路)
为提升准确率,生产系统会在基础链路上不断加组件:
- query rewrite:把用户问题改写得更适合检索;
- hybrid search:向量检索叠加关键词检索;
- reranker:对候选chunk重新打分排序;
- metadata filter:按时间、权限、部门、文档类型过滤;
- contextual compression:只保留与问题相关的句子;
- citation checker:校验答案能否回溯到来源。
这条链路更长、精度更高,但每个组件都不是免费的。
衡量指标:TTFT 与 ITL
判断慢在哪,先看两个指标:
- TTFT(Time To First Token):决定用户等多久才看到第一段输出;
- ITL(Inter-Token Latency):决定后续token流出的间隔。
RAG最容易先把TTFT拉高,因为它会在生成第一个token之前,把大量检索内容塞进prompt,让模型先”读”一大段上下文(prefill阶段)。理解这一点,是理解两种架构差异的关键。
三、相同点:它们共享的底层逻辑
两种实现本质上都是RAG。其核心出发点一致:模型参数里存了知识,但这些知识难更新、难溯源,也未必覆盖企业自己的文档。把预训练生成模型与外部非参数记忆结合起来,让模型在生成前先检索相关文档——这一思路自被提出以来始终成立。
由此,两种对象也共享几个特征:
- 都是”先检索、再生成”,检索质量直接决定回答质量;
- 都会在生成前把额外上下文交给模型,都不可避免地为TTFT增加负担;
- 面向的都是需要”最新文档、权限内文档、可引用来源”的场景,如企业知识库、客服系统、代码助手、投研助手。
差异不在”要不要RAG”,而在”检索链路做多重、上下文塞多少”。
四、核心差异:慢分别来自哪一段
1. 架构复杂度与组件依赖
对象A只依赖embedding能力与向量检索能力;对象B叠加了改写模型、混合检索、重排模型、压缩逻辑与校验环节。组件越多,链路越长,单点抖动被累加放大的概率越高。
2. 对TTFT的影响(最显著)
TTFT被拉高主要来自两处:一是检索链路上”生成前的处理”,二是prefill阶段”读上下文”的耗时。
# 对象A:简易检索 RAGdef simple_rag(question):q_vec = embedding(question) # 计入 TTFTchunks = vector_search(q_vec, top_k=5) # 计入 TTFTprompt = build_prompt(question, chunks) # 拼接较少上下文return llm.generate(prompt) # prefill + decode
# 对象B:多阶段 / 生产级 RAGdef production_rag(question, user):q1 = query_rewrite(question) # 额外模型调用,计入 TTFTq_vec = embedding(q1)dense = vector_search(q_vec, top_k=20)sparse = keyword_search(q1, top_k=20) # 混合检索,两路召回candidates = metadata_filter(merge(dense, sparse), user) # 权限/时间过滤reranked = reranker(q1, candidates)[:5] # 重排模型,再计入 TTFTcompressed = contextual_compression(q1, reranked) # 句子级压缩prompt = build_prompt(q1, compressed)return llm.generate(prompt) # prefill + decode
对象B在”生成第一个token之前”叠加了改写、两路检索、过滤、重排、压缩等多个步骤,这些都直接叠加到TTFT上。此外,召回数量更大、上下文更长会让prefill变重,进一步抬高首token等待时间。这正是”用户先空等几秒”的主因。
3. 对ITL的影响
ITL更多由decode阶段与KV Cache管理决定,受RAG链路直接影响相对较小。但有一个间接效应:上下文越长,KV Cache占用越大,在显存紧张或并发较高时,decode可能变慢,token”一段段挤出来”的现象会更明显。也就是说,对象B对ITL的影响是”通过长上下文与缓存压力间接施加”的,而非直接来自检索组件。
4. 准确性与效果
对象A实现简单,但召回与排序能力有限,面对大量文档、复杂问法时容易漏检或答非所问;对象B通过改写、混合检索、重排与压缩,通常能在复杂场景下取得更好的召回与相关性,代价是延迟与运维复杂度上升。
5. 运维与成本
对象A组件少,监控与容量规划简单;对象B涉及多个模型/服务,任一环节的性能与可用性都需纳入监控,版本升级、容量规划、故障恢复的复杂度都更高,人力与资源成本也随之上升。
五、对比表格
| 维度 | 简易检索RAG(对象A) | 多阶段生产级RAG(对象B) |
|---|---|---|
| 链路长度 | 短(检索+一次prefill) | 长(改写/混合检索/重排/压缩/校验) |
| TTFT | 相对较低,主要为检索+prefill | 明显更高,生成前处理叠加、上下文更大 |
| ITL | 主要由decode与KV Cache决定 | 同上,但长上下文会间接施压 |
| 召回与相关性 | 有限,复杂场景易漏检 | 更强,适合复杂问法与大规模文档 |
| 依赖组件 | 少 | 多,链路耦合度高 |
| 运维复杂度 | 低 | 高(多服务监控、升级、容量规划) |
| 成本结构 | 资源与人力成本较低 | 资源与人力成本更高 |
| 适用场景 | 原型验证、文档量小、权限简单 | 企业知识库、复杂权限、高准确要求 |
六、典型场景选择
- 更适合对象A:处于原型或试点阶段,文档规模不大、权限模型简单、需要快速迭代验证效果、对首字延迟敏感而对复杂召回要求不高的场景。
- 更适合对象B:面向生产的知识库、客服、投研等系统,文档量大、问法多样、需要按权限/时间/部门过滤并附带可引用来源,准确性优先级高于极限延迟的场景。
- 折中形态:先上基础链路,再按效果瓶颈逐步引入单个组件(例如仅加重排或仅加混合检索),而不是一次性堆满,便于定位每一步带来的延迟与收益变化。
七、选型建议(条件化)
- 当团队更看重上线速度、文档与权限结构简单时,可优先选择对象A,把工程复杂度留到确有必要时再加。
- 当准确性不足成为主要痛点,且能承受更高TTFT时,引入对象B的对应组件是合理路径;但应逐个引入并度量收益,避免无差别叠加。
- 当对首token延迟同时敏感,又需要较强召回时,应重点优化链路而非直接砍功能:例如并行化无依赖的检索步骤、对可缓存环节做结果缓存、采用流式输出让用户更早看到内容、合理设置召回数量与上下文长度以控制prefill成本。
- 在需要托管检索、缓存、日志与监控等环节时,可借助云上通用能力(如向量检索、对象存储、消息队列、日志服务、监控告警等)降低自建与运维负担,例如在百度智能云这类平台上,把重排、检索、缓存等无状态或半托管环节托管化,可让团队更专注于效果调优。
八、迁移与使用注意事项
从对象A迁移到对象B,或反向简化时,需提前评估:
- 数据与索引:新增混合检索或过滤往往要求补充关键词索引与元数据字段,需评估存量文档的可迁移性。
- 权限一致性:元数据过滤必须与既有身份认证、权限控制体系对齐,避免检索层与授权层出现偏差,同时保留审计能力。
- 稳定性与兼容性:多组件链路下,单点故障会放大为整体延迟或不可用,需补充超时、降级与重试策略,并做容量规划。
- 效果回归:每次增删组件都应做召回质量与延迟的双向回归,确认没有”为准确率牺牲过多延迟”或反之。
- 成本与运维:新增服务会带来监控、告警、日志与版本管理负担,需在迁移前把长期维护成本纳入评估。
九、总结
RAG”越用越慢”,本质不是单一模型或向量库的问题,而是检索链路变长、上下文变大共同作用于延迟结构的结果。简易检索RAG与多阶段生产级RAG共享”先检索、再生成”的底层逻辑,但前者TTFT更低、运维更轻,后者准确性与召回更强、代价是更高的首字等待与运维成本。关键区别在于:对象B把更多处理堆在”生成第一个token之前”,因此主要抬高TTFT,并通过长上下文间接影响ITL。选型时不必非此即彼——按文档规模、权限复杂度、准确性要求与团队运维能力,逐组件引入并持续度量,才是让RAG既准又不至于越来越慢的稳妥路径。

登录后可评论,请前往 登录 或 注册