rag-">一、为什么需要RAG：从参数化知识到外部知识

大语言模型的知识以参数形式固化在权重之中，这带来三个天然局限：

• 知识时效性不足：训练语料存在截止时间，无法回答“最新”类问题；
• 私有知识缺失：企业内部文档、领域规程、产品手册等不在公开语料中，模型天然“没学过”；
• 幻觉问题：当模型缺乏依据时，倾向于以流畅的语言“自信地编造”，在专业场景中风险极高。

RAG（Retrieval-Augmented Generation，检索增强生成）的解决思路是“先检索、后生成”：将开放域或私域文档构建为可检索的知识库，在用户提问时先召回最相关的证据片段，再将其注入提示词，让模型基于证据作答。其本质是用非参数化知识（外部语料）补充参数化知识（模型权重），从而同时提升事实准确性、知识时效性与答案可溯源性。

二、三阶段核心流程的底层原理

1. 预处理阶段：构建高质量索引

（1）文档解析

现实语料多为网页、PDF等异构格式，解析质量直接决定索引上限。对网页类文档，可借助XPath等标准定位手段抽取正文节点，剔除导航、广告等噪声；对PDF则需区分文本层与扫描层，对扫描件引入OCR补偿以恢复文字；表格必须专门抽取并序列化（如保留行列对应关系的文本形式），否则结构语义会在检索阶段完全丢失。工程经验表明，很多“检索不准”的问题，根因不在检索算法而在解析环节。

（2）分块策略

分块是影响召回质量的第一要素，常见两类方法：

• 递归字符分割：按“段落→句子→字符”的层级递归切分，实现简单、通用性强，是大多数系统的默认选择；
• 语义分割：基于相邻句向量相似度的突变点切分，块边界更贴合语义，但计算开销明显更高。

块大小需要仔细权衡：块太小则上下文断裂、证据不完整；块太大则噪声稀释关键信息、向量表征变得模糊。工程上常引入滑动窗口重叠（如10%～20%的重叠率），保证跨块的关键信息不会被硬性切断，重叠率过低会丢信息，过高则索引膨胀、召回结果大量重复。

（3）向量编码

• 密集编码：用预训练语义编码模型将文本映射为固定维度的稠密向量（如768维），擅长捕捉语义相似性，能命中“换一种说法”的内容；
• 稀疏编码：以BM25为代表的词频统计模型，擅长精确关键词与专有名词匹配，对术语、型号等强字面信号非常敏感。

两者能力互补，构成了后续混合检索的基础。

2. 检索阶段：召回与精排的两级漏斗

（1）混合检索

• 向量检索：基于近似最近邻（ANN）索引（如HNSW图索引）在高维空间中快速定位Top-K近邻，解决语义匹配问题；
• 倒排索引检索：基于关键词的全文检索引擎按词项倒排快速定位文档，解决字面匹配问题。

两路并行召回后合并去重（业界常用倒数排序融合RRF），可同时覆盖语义相关与字面命中两类需求，在召回率与响应时延之间取得平衡。只依赖单一向量检索的系统，在术语密集型查询上往往表现不佳，这正是混合检索的价值所在。

（2）重排序机制

初排模型（双塔结构）为了效率牺牲了精度，Top-K结果中常出现“语义漂移”——字面相近但意图不符。因此引入交叉编码器对小候选集（如Top 100）逐对精排：将查询与文档拼接后送入模型，通过深层交互建模细粒度相关性。交叉编码器精度高但计算开销大，只适合小规模候选集——这就是“召回→粗排→精排”漏斗式设计的由来：宽召回保上限，强精排保准确。

3. 生成阶段：上下文注入与注意力融合

（1）上下文注入

将检索片段按相关性排序填入提示词模板，并动态控制总长度不超过模型上下文窗口。对长文本场景，可借助长上下文适配技术（如注意力稀疏化、位置编码外推与插值）支持上万token级别的注入，但需注意长距离注意力的精度衰减。

（2）注意力融合

从模型内部视角看，检索片段与用户问题共同构成输入序列。在Transformer的自注意力计算中，生成每个token时模型会动态分配对“问题部分”与“证据部分”的注意力权重。提示词中用显式标记划定证据边界，有助于模型正确区分“需要依据的材料”与“需要回答的问题”，降低两段信息互相干扰的风险。

agentic-rag">三、架构演进：从Naive RAG到Agentic RAG

1. Naive RAG的典型短板

“解析→分块→编码→检索→拼接→生成”的朴素链路存在系统性缺陷：索引粒度单一、用户原始问句直接用于检索导致问句与文档的语义失配、检索噪声不加过滤直接进入提示词等。

2. Advanced RAG的优化方向

• 索引优化：多粒度分块（段落级用于召回、句子级用于精准定位），多模态索引（图像经OCR转为文本、表格转为结构化描述后统一入库）；
• 检索前增强：查询改写（将口语化问题改写为检索友好形式）、查询扩展，以及HyDE——先让模型生成一份“假设性答案”，用假设答案的向量去检索，缓解问句与文档之间的向量分布差异；
• 检索后增强：精排重排序、上下文压缩（剔除冗余句子，只保留关键证据），降低无效token对生成的干扰。

3. Agentic RAG：从“固定管道”到“智能体决策”

引入智能体作为决策中枢后，RAG从静态流程升级为动态规划：

• 多工具路由：智能体根据问题类型选择工具——事实问答走知识库检索、数值计算调用计算器、时效信息调用外部接口；
• 迭代式检索：首轮证据不足时，智能体可改写查询、补充检索，形成“检索→评估→再检索”的循环，而不是一次检索定终身；
• 自修正流程：生成结果经过事实性校验模块核查（将结论与证据逐条比对），不通过则触发修正或重新检索，显著降低幻觉外溢。

四、关键组件的实现细节

1. 检索器：双塔模型与ANN索引

（1）双塔架构

查询编码器与文档编码器分别将问句和文档映射到同一向量空间，以内积或余弦相似度计算相关性。两塔可以同构，也可以异构（如用轻量编码器处理短查询、用表达力更强的编码器处理长文档）。关键优势在于：文档向量可离线预计算，线上只需编码查询，从而保证毫秒级响应。

（2）负采样策略

对比训练的效果高度依赖负样本质量：

• 批内负采样：同一batch内其他文档互为负例，实现简单、成本低，但负例普遍偏“容易”；
• 难负例挖掘：用初版模型召回“得分较高但并非正确答案”的文档作为难负例，能显著提升模型区分相似文档的边界能力，通常带来更明显的召回质量提升。

（3）ANN索引的工程权衡

• HNSW图索引：通过多层图结构实现高召回、低时延。构建期的参数（如节点最大连接数、构建时候选队列长度）决定索引质量与构建成本；查询时候选队列越大召回越高、时延越长，需按业务SLA绘制“召回率—时延”曲线选点；
• IVF-PQ量化：先粗聚类（如数百个簇）缩小搜索范围，再对子向量做低比特量化，可将内存压缩数十倍，适合亿级以上规模；代价是量化精度损失，需评估召回率下降是否在可接受范围内。

（4）示意性流程代码

# 混合检索 + 精排的示意流程
def retrieve(query, top_k=5):
    q_vec = encode(query)                        # 密集编码
    dense_hits = ann_index.search(q_vec, k=50)   # 向量召回
    sparse_hits = inverted_index.search(query, k=50)  # 关键词召回
    candidates = rrf_fuse(dense_hits, sparse_hits)    # 融合去重
    reranked = cross_encoder.score(query, candidates) # 交叉精排
    return top(reranked, top_k)

2. 生成器：选型、长上下文与提示工程

（1）模型选型与微调

7B级开源模型配合LoRA等参数高效微调方法，能以远低于全量微调的显存开销（通常十余GB即可）完成领域适配；13B级模型在复杂推理上更稳，但需权衡吞吐与成本。需要强调的是：领域微调的重点不是把知识“灌进”参数（知识交给检索库维护），而是教会模型“如何正确使用检索到的证据”。

（2）长上下文扩展

当检索片段较多时，可通过位置编码插值/外推类技术，将模型上下文窗口从数千token扩展至数万token。同时应注意长上下文中“中间信息易被忽略”的现象，将最相关的证据置于提示词的首尾位置。

（3）结构化提示模板

【检索内容开始】
{检索结果1}
{检索结果2}
【检索内容结束】
请仅依据以上检索内容回答问题：{用户问题}
若检索内容不足以回答，请明确说明"依据不足"，不要编造。

明确的证据边界 + 显式授权拒答，是提示词层面抑制幻觉的两大关键手段。

（4）幻觉抑制的自检机制

在生成后追加校验环节：要求输出中每条事实性陈述标注来源文档ID，校验模块核对“陈述—证据”一致性，不一致的句子触发重生成或删除；更严格的实现会引入自然语言推理模型判断结论是否被证据真实蕴含。

五、工程落地建议

1. 评估先行：建立召回率、忠实度（答案是否忠于证据）、答案相关性三维评估集，避免只凭主观感受调参；
2. 调参顺序：先优化解析与分块质量（垃圾进、垃圾出），再调检索侧（top-k、混合权重、精排模型），最后调提示词与生成参数；
3. 可观测性：对每次问答记录“查询→改写→召回→精排→生成”的全链路日志，借助日志服务与监控告警能力快速定位坏例根因；
4. 基础设施选型：文档、向量与索引可基于对象存储、向量检索服务、全文检索服务等通用云能力托管。例如百度智能云提供的知识库与检索类服务即可覆盖此类通用需求；自建还是托管，取决于数据规模、团队能力与合规要求。

六、结语

RAG的本质，是用检索的确定性约束生成的开放性。相比堆砌任何单一技巧，理解三阶段流程中每个组件的原理与权衡——分块的粒度、索引的结构、混合召回的融合方式、精排的精度与时延取舍、提示词的证据边界——才是构建高质量RAG系统的根基。掌握这些底层原理之后，无论自建系统还是使用云上托管能力，开发者都能有的放矢地诊断问题、持续优化自己的RAG应用。