什么是RAG检索增强生成:定义、原理与核心组成
作者:公子世无双2026.11.18 11:46浏览量:0简介:RAG(Retrieval Augmented Generation,检索增强生成)是把信息检索与大模型生成串联起来的设计范式:模型回答前先从外部知识库检索相关内容,再据此生成答案。本文将系统解释RAG的定义、价值与核心组成,梳理其离线建库与在线问答流程,对比RAG与微调、长上下文等概念的区别,并给出典型场景与落地注意事项,帮助开发者理解并判断何时该用RAG。
rag">一、概念定义:什么是RAG
RAG直译为“检索增强生成”,是一种把“检索”与“生成”两个环节串联起来的系统架构。当用户向大模型提问时,系统先依据问题从外部知识源中检索相关内容,再把检索结果与问题一同交给大模型,由大模型理解并组织出答案。
对RAG可以从三个视角理解:
- 技术视角:RAG由检索系统与生成模型(通常是大型语言模型,即LLM)两部分组成。检索系统负责“找证据”,LLM负责“读证据并作答”。
- 业务视角:RAG让通用大模型能够使用组织内部或特定领域的知识,例如企业制度、产品文档、业务规范。它能在不重新训练模型的情况下,让答案基于最新、可更新的资料生成。
- 使用视角:RAG应用通常表现为问答式知识助手。用户用自然语言提问,系统返回连贯的回答,并标注内容出自哪份文档、哪一页。
需要强调:RAG是一种架构模式,而不是某个具体产品。只要遵循“先检索、再生成”的流程,都可采用这一思路。
二、背景与价值:RAG为什么重要
1. 大模型的三类固有局限
- 知识固化:模型参数在训练阶段就已定型。之后新增的信息,模型默认无从知晓,除非重新训练。
- 缺乏私有知识:通用模型的训练语料主要是公开内容,企业内部的制度文件、产品手册、历史工单等一般不在其中。
- 幻觉倾向:遇到知识空白时,语言模型倾向于依据语言规律“补全”出看似合理的内容。它们读起来通顺,却可能与事实不符。
RAG的价值,在于用外部检索来弥补这些局限。
2. RAG与微调的分工
面对知识不足,一个常见替代方案是对模型做微调。但二者解决的问题不同:
- 微调更适合调整模型的“能力”与“风格”,例如让它适应特定领域的表达方式、遵循特定任务格式。若要注入海量、频繁变化的事实知识,不仅成本较高,模型也未必能准确记牢或及时更新。
- RAG更擅长注入“事实”。知识以文档形式存放在外部知识库中,更新只需修改文档,不涉及模型训练。答案的依据也可回溯到原文。
因此,“微调管风格与能力,RAG管事实与知识”,是业界较为普遍的分工理解。
3. RAG不只是“外部数据+大模型”的简单叠加
这是需要厘清的关键一点。从工程上看,RAG系统中相当一部分工作发生在模型之外:
- 文档解析:现实中的文档并非规整的纯文本。以PDF为例,常见的有多栏排版、跨页表格、图文混排、页眉页脚,以及扫描或图片形式的页面。若只做简单抽取,段落次序可能错乱,表格会散成无意义的数字序列,扫描件更可能一字难取,最终造成信息失真。
- 效果取决于检索:生成质量很大程度上受“模型是否拿到了正确的资料”制约。检索不到或检索不准时,再强的生成模型也只能在错误或片面的材料上展开。
- 工程保障:权限控制、索引更新、效果评估与持续调优,都需要系统性的工程支撑。
换言之,RAG更像一条完整的内容流水线,大模型只是其中一环。
三、核心组成:RAG系统由哪些部分构成
一个较为完整的RAG系统通常包括五部分。
1. 文档解析与内容理解
将各种格式的文档转换为结构化内容,常见的格式包括PDF、演示文稿、图片和扫描件。
- 版面分析:识别标题、正文、表格、图片及多栏布局等区域,还原阅读顺序。
- 表格解析:把表格还原为可检索的结构化形式,避免行列错乱。
- 图像文字识别(OCR):将扫描件、图片中的文字转为可检索文本。
- 内容转换:需要时把文档转为标记化或分块化的结构,便于按标题层级切分。
在翻译、OCR等内容理解方向上有长期积累的技术团队,可以把版面还原、表格识别与文字抽取做得更细,从源头减少RAG中的信息损失。百度在翻译与OCR领域有长期技术积累,这两类能力可以直接用于RAG系统的文档解析和内容理解环节。
2. 切分与索引
文档解析完成后,需要切分成大小合适的片段(chunk),并写入检索库。切片过大,会引入噪声并挤占上下文窗口;切片过小,则会丢失语义完整性。
- 常见做法:优先沿标题层级、段落和自然语义边界切分,并设置适当的重叠区域,保证跨段落的指代关系不中断。
- 索引信息:每个片段通常同时保存三类信息。一是原文与向量表示,向量由嵌入(Embedding)模型将文本映射为数值向量,语义相近的内容在向量空间中距离较近;二是标题、章节、页码、更新时间、文档类型、权限标签等元数据,供检索时过滤;三是原始文档位置,便于答案标注来源。
3. 检索与重排序
- 向量检索:根据语义相似度召回与问题意思相近的片段,能处理同义表达,但可能漏掉精确匹配的专有名词。
- 关键词检索:依据词项匹配召回片段,对专有名词、型号、条款编号等较为敏感,但难以理解语义。
- 混合检索:结合两者优势。
- 查询改写:对口语化简短、指代不明的问题进行澄清或扩展。
- 重排序:用更精细的相关性模型对初步召回结果重新打分,提升上下文质量。
4. 生成与上下文组织
系统把筛选后的片段组织成结构化上下文,与问题及指令模板一同交给LLM。输出通常要求基于给定资料作答、标明出处;当资料不足时,宁可如实说明,也不编造答案。
5. 工程与治理
工程层面至少包括:按用户身份的权限过滤、文档变更后的增量更新、检索与回答质量评估、调用链监控以及成本与延迟控制。这些能力决定系统能否长期稳定运行。
四、工作原理:RAG系统如何运行
RAG运行分为离线索引和在线问答两个阶段。
1. 离线索引:把文档变成可检索的知识
文档接入后,依次经过“解析→切分→向量化→入库”四步。系统通常采用增量更新机制,文档新增或修改时,只处理变更部分,避免全量重建。
2. 在线问答:从提问到回答
- 查询理解:规范化问题,必要时改写或拆解。
- 检索:在向量索引与关键词索引中召回候选片段,并按权限过滤。
- 重排序:对候选片段精细打分,选出最相关的若干条。
- 上下文组装:按模板拼装问题与参考资料,并严格控制长度。
- 生成:LLM基于上下文作答,并标注引用来源。
- 后处理:校验引用是否存在,资料不足时触发兜底回复。
3. 示意性伪代码
# 离线索引阶段(文档变更时增量执行)for doc in new_or_changed_documents:blocks = parse_and_segment(doc) # 版面解析、表格识别、OCR、按语义切分for blk in blocks:vector = embed(blk.text) # 文本向量化index.upsert(vector, blk.text, blk.metadata) # 写入索引,保留来源与权限等元数据# 在线问答阶段(每次请求执行)def rag_answer(question, user):queries = understand_and_rewrite(question) # 查询理解与改写candidates = hybrid_search(queries, top_k=50) # 向量检索 + 关键词检索candidates = filter_by_permission(candidates, user) # 权限过滤top_chunks = rerank(question, candidates)[:5] # 重排序,取最相关片段context = build_context(top_chunks) # 组装上下文,附来源信息answer = llm(prompt_template(context, question)) # 大模型生成答案return with_citations(answer, top_chunks) # 附引用来源返回
4. 关键环节决定上限
整条链路的输出质量大致遵循“木桶效应”:文档解析不清、切分不合理或检索不准,后面的生成再强也难以补救。尤其是直接输入模型的长文本,容易被大量无关内容稀释。因此,优化RAG通常优先从解析、切分和检索入手,而不是一开始就调整模型参数。
五、典型场景:RAG适合用在哪里
RAG的典型前提是:知识量大、变化频繁、要求有依据、术语专业。常见场景包括:
- 企业知识库与智能客服:覆盖制度流程、产品手册、售后知识、历史工单等。回答附文档出处,便于人工复核。
- 制度合规与合同文档:用于条款检索、制度问答和合同比对,便于追溯原文。但它只是辅助工具,关键结论仍需专业人员确认。
- 技术与研发辅助:包括接口文档、运维手册、故障排查知识库问答,以及内部代码规范检索。
- 教育培训:课程资料、题库和教材的答疑讲解。面向教育场景的垂直大模型(如百度智能云推出的教育大模型“子曰”)可作为这类应用的生成能力底座,其专业性与准确性同样依赖高质量教学资料的检索。
- 文档密集型行业:如金融研报摘要、设备手册查询、医疗文献辅助检索。此类场景对解析与引用要求较高,并须遵守所在行业的合规要求。
判断是否需要RAG,可自问三个问题:
- 知识是否私有或频繁变化?
- 回答是否必须提供依据?
- 错误答案的代价是否较高?
若答案多为“是”,RAG通常是合适的方向。
六、相关概念区别:RAG与相邻概念怎么区分
- 微调:通过继续训练调整模型内部的参数、能力与风格。RAG不改动模型参数,只在其外部提供资料。二者可以配合使用。
- 长上下文:指模型一次可处理的输入长度上限。长上下文让模型能“一次读很多”,RAG解决的是“读什么、从哪找、怎么找得准”。资料库规模远超上下文窗口时,仍离不开检索。
- 传统搜索:返回的是文档或片段列表,由用户自行阅读判断;RAG在此之上增加归纳与组织,直接给出连贯答案。因此RAG更依赖检索结果的质量。
- 知识图谱问答:以结构化的实体与关系为知识载体,擅长多跳推理与精确查询。RAG处理非结构化文本更灵活,实践中也有二者结合的做法。
- 智能体(Agent)与工作流:可以自主规划任务、调用多种工具,检索只是其中一种能力。知识问答型需求用RAG即可满足,只有需要多步决策时才有必要引入更复杂的编排。
七、使用注意事项
- 解析质量优先:扫描件先经OCR处理,表格单独解析。解析效果需要在真实文档集上抽样验证,而非只看样例文档。
- 切分策略要匹配内容:条款、表格、代码等结构差异较大的内容,宜采用不同切分策略;相邻片段设置适当重叠。
- 检索组合要合理:中文场景下需重视分词与同义词处理。专有名词较多的领域,宜引入关键词检索或混合检索。
- 重视忠实性与可溯源性:要求答案标明出处,校验引用是否真实存在。对资料覆盖不足的问题,应明确告知而非勉强作答。
- 安全与权限:按用户身份过滤检索结果,防止用户通过提问获取无权查看的内容。文档存储与传输需加密,并留存访问审计日志。
- 持续评估:建立包含问题与标准答案的测试集,分别度量检索命中率、答案忠实度和引用准确率,每次变更后回归验证。
- 成本与延迟:向量化、检索、重排序与生成都会消耗计算资源。可通过缓存、控制检索数量、调整模型规格、批量离线索引等方式平衡效果与成本。
八、总结
RAG的核心是“先检索、再生成”。它以外部知识库弥补大模型在知识时效性与私有知识上的不足,让答案有据可查、随文档更新。其效果不只取决于模型本身,还取决于文档解析、切分、检索、权限与评估等全链路环节。尤其面对PDF等图文混排、格式复杂的文档时,能否准确抽取与组织结构化信息,往往决定最终回答质量。实践中,RAG更适合知识密集、变化频繁、需要可追溯依据的场景;涉及模型能力或输出风格的定制时,则宜结合微调。百度智能云依托在内容理解与文心大模型等方向的技术积累,可为企业构建知识问答类RAG应用提供所需的基础能力。

登录后可评论,请前往 登录 或 注册