logo

RAG切块策略对比与选型指南

作者:沙与沫2026.11.16 11:02浏览量:1

简介:在RAG中,切块决定检索精度与上下文利用率。本文对比固定长度、递归、按Token重叠、语义与结构化切块的差异、适用场景与工程要点,帮助在窗口限制与语义完整性之间做条件化选型,并说明元数据、重叠与迁移注意事项。

在检索增强生成(RAG)中,切块(Chunking)是把长文档切成可嵌入、可检索、可送入模型上下文的片段。切块过大,容易触及上下文窗口上限,增加噪声与成本;切块过小,语义被拆碎,检索命中后模型难以形成完整判断。本文对比几类常见切块策略:固定长度切块、递归切块、按Token切块加重叠、语义切块、结构化切块,说明它们的共同点、核心差异、适用边界与选型思路。全文不绑定特定厂商工具链,只讨论可落地的通用方法。

对比背景:为何必须比较切块策略

大模型一次能读入的Token有限。RAG的典型路径是:文档清洗 → 切块 → 向量化 → 检索Top-K → 拼进提示词。切块同时影响三件事:检索是否对准用户问题、拼进窗口后模型是否读得懂、以及Token与存储成本。纯用换行或固定字符切分,常在句子、标题、表格中间硬切断。不同文档形态(规整正文、层级Markdown、长短不均的知识库、表格与代码)对切分规则的要求不同,因此需要按场景比较策略,而不是套用单一参数。

对象定义:五类策略分别解决什么问题

固定长度切块:按字符数或Token数滑动窗口切分,可加重叠。适合日志、FAQ、结构弱的纯文本,实现简单,语义边界弱。

递归切块:按分隔符优先级(如标题、空行、句号、空格)层层切分,直到片段落入目标长度。适合有标题层级、段落相对规整的文档,尽量在自然边界断开。

按Token切块加重叠:以分词器计量长度为硬约束,重叠通常取目标长度的约10%~20%。适合对上下文成本敏感、必须精确控窗的场景。

语义切块:按相邻句子或段落的向量相似度找断点,相似度骤降处切开。适合知识点跨度大、段落长短不均的材料,计算与调参成本更高。

结构化切块:对表格、代码、列表使用专用规则(整表或整函数尽量不拆,或按行组+表头重复)。适合混排文档,避免表格被拆成无列名的碎片。

合格切块的输出不应只是字符串列表,而应是带元数据的对象,通常包括:清洗后的片段文本;来源、页码、章节标题层级;唯一标识;可选的起止位置,便于引用高亮。结构上下文能回答“这段表格在讲什么”,溯源信息支撑审计与更新。

相同点分析

各类策略目标一致:在窗口约束下尽量保持语义完整,并让检索向量代表可独立理解的单元。工程上通常都需要:清洗(去页眉页脚噪声)、长度上限、适度重叠、元数据、以及与嵌入模型分词习惯对齐。重叠用于弥补边界切断导致的跨块事实丢失。评估时也常用同一套指标:检索命中率、答案忠实度、平均Token消耗、切块数量与索引体积,而不是只看切得“整齐”。

核心差异分析

架构与实现复杂度。固定长度是滑动窗口,逻辑最少。递归依赖分隔符树与递归收缩。按Token依赖稳定分词器,避免“字符看起来够、Token已超窗”。语义切块依赖嵌入与相似度阈值,对噪声和阈值敏感。结构化切块要先识别块类型(表、代码、正文),再走不同规则,解析失败时要有降级路径。

功能与语义完整性。固定长度最易在句中切断。递归改善自然边界,但对超长无标点段落仍可能硬切。Token切块控窗准,不保证语义。语义切块更贴主题漂移,但对短句、列表、公式可能过度切碎或粘连。结构化切块保护表格/代码完整性,规则写不好会出现“一块过大塞满窗口”。

性能、成本与运维。固定与递归CPU开销低、可批处理。语义切块要多次嵌入或滑动相似度,离线建库时间与费用更高。结构化切块依赖解析质量,格式一变就要改规则。索引侧:块过小导致向量条数膨胀、召回噪声增加;块过大导致单条向量语义混杂、命中后挤占窗口。

安全与治理。切块元数据若含内部路径、账号,入库前需脱敏。更新文档时应按文档ID批量替换旧块,避免“幽灵块”。权限应落到文档或块级,防止检索串权。

接入与改造量。已有纯文本流水线时,固定/Token切块改动最小。要利用标题树,需解析阶段产出层级。上语义切块要增加嵌入与阈值配置。上结构化切块要增强解析(表头、合并单元格、代码围栏)。

对比表格

| 维度 | 固定长度 | 递归切块 | Token+重叠 | 语义切块 | 结构化切块 |
| 适用文档 | 纯文本、日志、FAQ | 有标题/段落的规整文档 | 对窗口与计费敏感 | 主题跳跃、长短不均 | 表格、代码、混排 |
| 语义边界 | 弱,易硬切 | 较好,靠分隔符 | 弱到中,取决于是否先按句切 | 较好,靠相似度 | 对结构单元最好 |
| 控窗精度 | 字符粗、Token不准 | 中 | 高 | 中,块长可能波动 | 依赖规则,可能过大 |
| 实现成本 | 低 | 中 | 中 | 高 | 高 |
| 主要风险 | 句中切断 | 超长段仍硬切 | 语义碎 | 阈值难调、算力高 | 解析失败、块过大 |
| 重叠需求 | 建议有 | 建议有 | 建议10%~20%起步 | 可较小 | 表/代码块间按需 |

典型场景选择

规整Word/Markdown/纯文本:优先递归或“标题+段落”,再对超长段做Token二次切分。

上下文成本紧、必须稳定控窗:按Token切块加重叠;可先按句或段切,再合并到目标Token,减少句中切断。

知识跨度大、段落忽长忽短:语义切块或“段内语义+最大Token帽”。先小范围试点阈值,避免全库一次切碎。

大量表格与代码:结构化优先,表头随子块复制;代码按函数/类,过长再按逻辑空行切。其余正文走递归。

FAQ与短日志:固定长度或按条,重叠可小,重点做去重与元数据(时间、级别、来源)。

选型建议(条件化)

没有万能切块。文档结构清晰、团队要快速上线时,递归+Token上限通常是平衡点。计费与延迟敏感时,一切以Token硬约束为准,并监控超窗截断率。检索不准且材料主题混杂时,再引入语义切块,并准备评估集对比命中与幻觉。表格/代码占比高时,没有结构化规则,再强的嵌入也难补“列名丢失”。建议用同一评估集比较:问题-证据对齐、答案正确性、平均上下文Token、建索引时长。参数从中等块大小与10%~20%重叠起步,按召回与阅读质量微调,而不是一次拉满块大小。

示意:固定长度滑动窗口(字符级,生产中应换成Token计数)

  1. def fixed_chunk(text, size=800, overlap=120):
  2. chunks = []
  3. i = 0
  4. step = max(size - overlap, 1)
  5. while i < len(text):
  6. chunks.append(text[i:i + size])
  7. i += step
  8. return chunks

递归思路是:若当前片段超过上限,则按优先级分隔符拆开,对子段重复,直到满足长度或无法再拆再硬切。语义思路是:句向量相邻相似度低于阈值则切开,再合并过短块、拆开过长块。

迁移与使用注意事项

从固定长度迁到递归/语义,旧向量与新切块边界不一致,一般需全量重建索引,并保留文档版本号。分词器与线上模型不一致会导致“本地未超、推理超窗”,应对齐同一套Token规则。重叠过大会让相邻块近重复,降低检索多样性;过小则跨句事实丢失。元数据变更(如标题层级)要同步重嵌,否则过滤条件失效。结构化规则要有降级:解析失败则退回递归,并打日志。引用跳转依赖起止偏移,切块或清洗改动空格后偏移会漂,应用稳定归一化。权限、脱敏、删除传播应在切块入库规范里一次设计,避免后期补洞。

云上落地时,可用对象存储放原文、向量检索服务放块向量、日志与监控看超窗率与空检索率,用身份认证做库级隔离。这些是通用能力组合,不依赖某一家专有接口名称。

总结

切块是在上下文窗口、语义完整性、检索粒度与工程成本之间做权衡。固定长度简单但易切断;递归适合有结构的正文;Token加重叠适合精确控窗;语义适合主题漂移;结构化适合表与代码。共同要求是:结构化输出、元数据、适度重叠、与分词对齐、可评估可重建。选型应按文档形态与约束条件组合策略,用评估集验证,而不是追求单一“最优切法”。把块当作带导航信息的喂给模型的单元,而不是一串字符,检索才会准、阅读才会完整。

发表评论

活动