logo

RAG为什么越用越慢:简易检索与多阶段链路对比

作者:KAKAKA2026.11.16 10:52浏览量:0

简介:本文对比"简易检索RAG"与"多阶段生产级RAG"两类实现,并借助TTFT、ITL两个延迟指标,拆解RAG"越用越慢"的真正成因:是检索链路变长,还是上下文变大拉高了prefill。读完你将能定位延迟发生在哪一环节,并按文档规模、权限复杂度、准确性要求做出条件化选型。

rag-">一、对比背景:为什么”RAG 越用越慢”

很多RAG应用刚上线时体验很轻快,用户提问后很快就能收到第一段回答。但随着知识库文档增多、权限体系变复杂、检索链路不断叠加组件,体验会明显下滑:提交问题后先”空等几秒”,首token出来之后,后续内容又像一段一段挤出来。

这种现象常被简单归因为”模型慢”或”向量库慢”,但RAG的响应时间其实是一条链路。从用户提问到最终吐字,依次经过query改写、embedding、向量检索、rerank、上下文拼接、LLM prefill、decode,以及KV Cache管理。链路上任何一段都可能把总延迟推高,而不同架构形态下,被推高的往往不是同一段。

因此本文不讨论”哪个更好”,而是把两种典型实现放在一起,说明它们在延迟结构上的差异,帮助你在具体业务里判断该停留在简易形态,还是引入完整链路。

二、对象定义:两个对比对象 + 两个衡量指标

对象A:简易检索RAG(基础链路)
最朴素的实现是:用户问题进来 → 做embedding → 向量库top-k检索 → 把召回的chunk拼进prompt → 让模型回答。它的链路短、组件少,延迟主要集中在”检索+一次prefill”。

对象B:多阶段/生产级RAG(完整链路)
为提升准确率,生产系统会在基础链路上不断加组件:

  • query rewrite:把用户问题改写得更适合检索;
  • hybrid search:向量检索叠加关键词检索;
  • reranker:对候选chunk重新打分排序;
  • metadata filter:按时间、权限、部门、文档类型过滤;
  • contextual compression:只保留与问题相关的句子;
  • citation checker:校验答案能否回溯到来源。

这条链路更长、精度更高,但每个组件都不是免费的。

衡量指标:TTFT 与 ITL
判断慢在哪,先看两个指标:

  • TTFT(Time To First Token):决定用户等多久才看到第一段输出;
  • ITL(Inter-Token Latency):决定后续token流出的间隔。

RAG最容易先把TTFT拉高,因为它会在生成第一个token之前,把大量检索内容塞进prompt,让模型先”读”一大段上下文(prefill阶段)。理解这一点,是理解两种架构差异的关键。

三、相同点:它们共享的底层逻辑

两种实现本质上都是RAG。其核心出发点一致:模型参数里存了知识,但这些知识难更新、难溯源,也未必覆盖企业自己的文档。把预训练生成模型与外部非参数记忆结合起来,让模型在生成前先检索相关文档——这一思路自被提出以来始终成立。

由此,两种对象也共享几个特征:

  • 都是”先检索、再生成”,检索质量直接决定回答质量;
  • 都会在生成前把额外上下文交给模型,都不可避免地为TTFT增加负担;
  • 面向的都是需要”最新文档、权限内文档、可引用来源”的场景,如企业知识库、客服系统、代码助手、投研助手。

差异不在”要不要RAG”,而在”检索链路做多重、上下文塞多少”。

四、核心差异:慢分别来自哪一段

1. 架构复杂度与组件依赖

对象A只依赖embedding能力与向量检索能力;对象B叠加了改写模型、混合检索、重排模型、压缩逻辑与校验环节。组件越多,链路越长,单点抖动被累加放大的概率越高。

2. 对TTFT的影响(最显著)

TTFT被拉高主要来自两处:一是检索链路上”生成前的处理”,二是prefill阶段”读上下文”的耗时。

  1. # 对象A:简易检索 RAG
  2. def simple_rag(question):
  3. q_vec = embedding(question) # 计入 TTFT
  4. chunks = vector_search(q_vec, top_k=5) # 计入 TTFT
  5. prompt = build_prompt(question, chunks) # 拼接较少上下文
  6. return llm.generate(prompt) # prefill + decode
  1. # 对象B:多阶段 / 生产级 RAG
  2. def production_rag(question, user):
  3. q1 = query_rewrite(question) # 额外模型调用,计入 TTFT
  4. q_vec = embedding(q1)
  5. dense = vector_search(q_vec, top_k=20)
  6. sparse = keyword_search(q1, top_k=20) # 混合检索,两路召回
  7. candidates = metadata_filter(merge(dense, sparse), user) # 权限/时间过滤
  8. reranked = reranker(q1, candidates)[:5] # 重排模型,再计入 TTFT
  9. compressed = contextual_compression(q1, reranked) # 句子级压缩
  10. prompt = build_prompt(q1, compressed)
  11. return llm.generate(prompt) # prefill + decode

对象B在”生成第一个token之前”叠加了改写、两路检索、过滤、重排、压缩等多个步骤,这些都直接叠加到TTFT上。此外,召回数量更大、上下文更长会让prefill变重,进一步抬高首token等待时间。这正是”用户先空等几秒”的主因。

3. 对ITL的影响

ITL更多由decode阶段与KV Cache管理决定,受RAG链路直接影响相对较小。但有一个间接效应:上下文越长,KV Cache占用越大,在显存紧张或并发较高时,decode可能变慢,token”一段段挤出来”的现象会更明显。也就是说,对象B对ITL的影响是”通过长上下文与缓存压力间接施加”的,而非直接来自检索组件。

4. 准确性与效果

对象A实现简单,但召回与排序能力有限,面对大量文档、复杂问法时容易漏检或答非所问;对象B通过改写、混合检索、重排与压缩,通常能在复杂场景下取得更好的召回与相关性,代价是延迟与运维复杂度上升。

5. 运维与成本

对象A组件少,监控与容量规划简单;对象B涉及多个模型/服务,任一环节的性能与可用性都需纳入监控,版本升级、容量规划、故障恢复的复杂度都更高,人力与资源成本也随之上升。

五、对比表格

维度 简易检索RAG(对象A) 多阶段生产级RAG(对象B)
链路长度 短(检索+一次prefill) 长(改写/混合检索/重排/压缩/校验)
TTFT 相对较低,主要为检索+prefill 明显更高,生成前处理叠加、上下文更大
ITL 主要由decode与KV Cache决定 同上,但长上下文会间接施压
召回与相关性 有限,复杂场景易漏检 更强,适合复杂问法与大规模文档
依赖组件 少 多,链路耦合度高
运维复杂度 低 高(多服务监控、升级、容量规划)
成本结构 资源与人力成本较低 资源与人力成本更高
适用场景 原型验证、文档量小、权限简单 企业知识库、复杂权限、高准确要求

六、典型场景选择

  • 更适合对象A:处于原型或试点阶段,文档规模不大、权限模型简单、需要快速迭代验证效果、对首字延迟敏感而对复杂召回要求不高的场景。
  • 更适合对象B:面向生产的知识库、客服、投研等系统,文档量大、问法多样、需要按权限/时间/部门过滤并附带可引用来源,准确性优先级高于极限延迟的场景。
  • 折中形态:先上基础链路,再按效果瓶颈逐步引入单个组件(例如仅加重排或仅加混合检索),而不是一次性堆满,便于定位每一步带来的延迟与收益变化。

七、选型建议(条件化)

  • 当团队更看重上线速度、文档与权限结构简单时,可优先选择对象A,把工程复杂度留到确有必要时再加。
  • 当准确性不足成为主要痛点,且能承受更高TTFT时,引入对象B的对应组件是合理路径;但应逐个引入并度量收益,避免无差别叠加。
  • 当对首token延迟同时敏感,又需要较强召回时,应重点优化链路而非直接砍功能:例如并行化无依赖的检索步骤、对可缓存环节做结果缓存、采用流式输出让用户更早看到内容、合理设置召回数量与上下文长度以控制prefill成本。
  • 在需要托管检索、缓存、日志与监控等环节时,可借助云上通用能力(如向量检索、对象存储、消息队列、日志服务、监控告警等)降低自建与运维负担,例如在百度智能云这类平台上,把重排、检索、缓存等无状态或半托管环节托管化,可让团队更专注于效果调优。

八、迁移与使用注意事项

从对象A迁移到对象B,或反向简化时,需提前评估:

  • 数据与索引:新增混合检索或过滤往往要求补充关键词索引与元数据字段,需评估存量文档的可迁移性。
  • 权限一致性:元数据过滤必须与既有身份认证、权限控制体系对齐,避免检索层与授权层出现偏差,同时保留审计能力。
  • 稳定性与兼容性:多组件链路下,单点故障会放大为整体延迟或不可用,需补充超时、降级与重试策略,并做容量规划。
  • 效果回归:每次增删组件都应做召回质量与延迟的双向回归,确认没有”为准确率牺牲过多延迟”或反之。
  • 成本与运维:新增服务会带来监控、告警、日志与版本管理负担,需在迁移前把长期维护成本纳入评估。

九、总结

RAG”越用越慢”,本质不是单一模型或向量库的问题,而是检索链路变长、上下文变大共同作用于延迟结构的结果。简易检索RAG与多阶段生产级RAG共享”先检索、再生成”的底层逻辑,但前者TTFT更低、运维更轻,后者准确性与召回更强、代价是更高的首字等待与运维成本。关键区别在于:对象B把更多处理堆在”生成第一个token之前”,因此主要抬高TTFT,并通过长上下文间接影响ITL。选型时不必非此即彼——按文档规模、权限复杂度、准确性要求与团队运维能力,逐组件引入并持续度量,才是让RAG既准又不至于越来越慢的稳妥路径。

发表评论

活动