本文深入探讨了RAG系统中至关重要的Chunk切分环节，揭示了为何固定512 token的简单切分只能达到67%的召回率。文章详细介绍了从第一代固定长度切分到第二代句子级切分，再到第三代语义感知切分的演进过程，重点分析了如何通过识别文档层级结构、处理表格和列表等特殊元素、以及智能调整Overlap参数来显著提升召回率，最终达到91%的优异表现。同时强调了量化验证的重要性，以及如何用badcase驱动优化方向，为构建高效RAG系统提供了实用指导。

切分是 RAG 系统里最不起眼但最基础的环节。很多人花一周调 Embedding 模型、研究 Rerank 算法，但切分始终是最开始那个固定 512，从来没动过。

这道题的考察核心是：你是否真正理解"chunk 切分不是设置 chunk_size 参数"，而是一个需要分析文档特点、处理特殊结构、量化验证效果的工程模块。

回答这道题的主线是：切分决定了 LLM 能看到什么——切错了，后面做再多的召回优化都是在残缺地基上建楼。三代方案从 67% 到 91%，每一步都是被具体的 badcase 推着走的。

RAG Chunk切分三代演进知识框架图

为什么固定 512 token 切分只有 67%？

先还原失败的根因，不是参数设小了，而是切分逻辑根本不理解文档结构。

# 第一代：固定长度切分 def chunk_v1(text: str, chunk_size: int = 512, overlap: int = 50) -> list[str]:     tokens = tokenizer.encode(text)     chunks = []     start = 0     while start < len(tokens):         end = min(start + chunk_size, len(tokens))         chunks.append(tokenizer.decode(tokens[start:end]))         start += chunk_size - overlap     return chunks

这段代码在保险条款文档上会产生三类系统性错误：

错误1：跨章节内容混合。 上一章节结尾的最后几句和下一章节开头的内容被切进同一个 chunk。这个 chunk 的向量既不像章节 A 也不像章节 B，检索时什么都不匹配。在我们的 2000 个 QA 测试集里，有 18% 的错误召回来自这个原因。

错误2：表头与数据分离。 保险费率表常见三五页跨度，表头在前半段，数据行在后半段。固定 512 切出来的表格数据 chunk 里只有数字，没有列名——“45 | 3500 | 100” 这样的内容，LLM 不知道 45 是年龄、3500 是保费还是保额。表格类问题的正确率只有 43%。

错误3：列表项前导句丢失。 保险条款里大量的免责条款是这种结构：

以下情况不在承保范围之内： （1）核辐射及核污染 （2）战争、军事冲突 （3）被保险人故意行为

固定切分会把"（1）核辐射"单独放进一个 chunk。这个 chunk 的向量没有"不在承保范围"这层语义，用户问"核辐射在不在保障范围"，系统找到了这个 chunk，但 LLM 看到核辐射出现了，不确定是正面条款还是免责条款，容易答错。

以上三类问题，就是 0.67 的来源。

三类切分失败根因对比图

第二代：句子级切分（0.74）

改进思路：不在句子中间切，只在自然边界（句号、问号、换行）切，相邻 chunk 保留 2 句重叠。

import re def chunk_v2(text: str, max_size: int = 512, overlap_sentences: int = 2) -> list[str]:     sentences = re.split(r'(?<=[。！？；\n])', text)     chunks, current, current_len = [], [], 0     for sent in sentences:         sent_len = len(tokenizer.encode(sent))         if current_len + sent_len > max_size and current:             chunks.append("".join(current))             current = current[-overlap_sentences:]             current_len = sum(len(tokenizer.encode(s)) for s in current)         current.append(sent)         current_len += sent_len     if current:         chunks.append("".join(current))     return chunks

召回率提升到 0.74，比 V1 好了 7 个点。解决了"句子中间截断"的问题，但核心短板还在：不识别文档层级结构，把章节标题和正文混在一个 chunk 里；表格和列表的特殊结构没有处理。

分维度看，V2 的短板很明显：

问题类型	V1	V2
普通文本问题	0.72	0.78
表格类问题	0.51	0.55
否定/列表查询	0.58	0.65
多跳推理问题	0.49	0.57

表格类问题和否定/列表查询是 V2 的两个最大短板，这直接指导了 V3 的优化方向。

第三代：语义感知切分（0.91）

V3 的核心思路：先识别文档层级结构，按语义边界切，超长章节递归细切，特殊元素单独处理。

文档结构识别

保险文档的编号体系非常复杂，混用多种格式：第一条 / 1.1 / （一） / （1）。用单一规则无法统一处理：

from enum import Enum import re class HeaderLevel(Enum):     H1 = 1   # 第X章/第X条     H2 = 2   # X.X 小节 或 （一）     H3 = 3   # （1）子条款 def detect_header_level(line: str) -> HeaderLevel | None:     patterns = [         (HeaderLevel.H1, r'^第[一二三四五六七八九十百\d]+[章条节]'),         (HeaderLevel.H1, r'^\d+\.\s+[\u4e00-\u9fa5]'),          # 1. 中文标题         (HeaderLevel.H2, r'^\d+\.\d+\s'),                        # 1.1 小节         (HeaderLevel.H2, r'^（[一二三四五六七八九十\d]+）'),       # （一）         (HeaderLevel.H3, r'^（\d+）|^[a-z]\)'),                  # （1）子条款     ]     for level, pattern in patterns:         if re.match(pattern, line.strip()):             return level     return None

识别出层级之后，同一章节内的内容放在同一 chunk 里，跨章节绝不合并。

表格专项处理：每个切片复制表头

def split_table(table_text: str, table_title: str, max_size: int = 300) -> list[dict]:     rows = parse_table_rows(table_text)     header_rows = rows[:2]         # 表头（通常1-2行）     data_rows   = rows[2:]     header_text   = "\n".join(header_rows)     header_tokens = len(tokenizer.encode(header_text))     chunks, current_rows, current_tokens = [], [], header_tokens     for row in data_rows:         row_tokens = len(tokenizer.encode(row))         if current_tokens + row_tokens > max_size and current_rows:             chunks.append({                 "text": header_text + "\n" + "\n".join(current_rows),                 "metadata": {"type": "table", "title": table_title}             })             current_rows, current_tokens = [], header_tokens         current_rows.append(row)         current_tokens += row_tokens     if current_rows:         chunks.append({"text": header_text + "\n" + "\n".join(current_rows),                         "metadata": {"type": "table", "title": table_title}})     return chunks

每个表格切片都强制带上完整表头——即使要多存一份冗余数据，也比让 LLM 面对没有列名的数字堆要好。表格类问题正确率从 43% 提升到 78%。

列表前导句强制保留

识别前导句（“以下情况不在…”、“本保险赔付以下范围：…”），把前导句复制到每个列表子项 chunk 的开头。否定性查询召回率从 0.58 提升到 0.83。

智能 Overlap：量化实验决定参数

Overlap 参数不是拍脑袋定的。我们做了系统实验：

Overlap 大小	Recall@5	存储增加
0 token	0.81	基准
50 token	0.86	+5%
100 token	0.89	+10%
200 token	0.90	+20%
300 token	0.90	+30%

100 token 是性价比最优点：召回率提升显著（+8%），存储只增 10%，再往上收益递减。

在此基础上，进一步用句子边界���齐 overlap 截断点（不在句子中间切断重叠区域），额外提升 2 个点——最终 Recall@5 = 0.91。

Overlap实验效果与存储成本权衡图

质量评估：2000 个 QA 测试集

切分质量必须量化，不能靠"感觉好多了"。我们的评估流程：

从 5000 份文档里抽 200 份，每份人工编写 10 个问题，总计 2000 个 QA 对。每个问题标注"正确答案应来自哪个 chunk"。跑端到端检索，看 Top-5 命中率（Recall@5）。

关键点：分维度拆解，不只看总体数字。

V2 的总体 Recall@5 是 0.74，看起来还行，但分维度看：表格类 0.55，否定查询 0.65。如果不分维度，会以为 0.74 已经够好，不知道往哪里优化。分维度之后，短板一目了然，V3 直接针对这两个短板优化。

构建 2000 个 QA 对花了两个人一周时间，这是一次性投入。后续每次改切分方案，重跑评估只需要 10 分钟，立刻知道有没有提升、哪类问题提升最多。没有测试集的优化是盲优化，这在面试里很减分。

三代切分方案分维度召回率对比图

面试如何回答这道题

第一层：说出核心结论（15秒）

“切分决定了 LLM 能看到什么。在我们的项目里，只改切分方案，不换 Embedding 模型，Recall@5 从 0.67 提升到 0.91——提升幅度比换最好的 Embedding 模型还大。”

第二层：讲演进路径（40秒）

“V1 固定 512 召回率 0.67，核心问题是三类：跨章节内容混合、表头与数据分离、列表前导句孤立。V2 改成句子边界切分，到 0.74，但不识别文档结构。V3 做了四个改进：按文档层级切（不跨章节合并）、表格每切片复制表头、列表前导句强制保留、100 token 智能 overlap——最终 0.91。”

第三层：讲量化验证（30秒）

“评估用 2000 个 QA 对，分文本、表格、否定查询、多跳推理四类分别看。V2 总体 0.74 看起来不错，但分维度看表格类只有 0.55，否定查询 0.65——这两个短板直接指导了 V3 的优化方向。没有测试集，改参数靠感觉，说不清楚提升了多少，面试官不认。”

第四层（加分项）：讲 Overlap 实验（20秒）

“Overlap 大小做了系统对比，100 token 是性价比最优点：比无 overlap 提升 8 个召回点，存储只增 10%，200 token 只再多 1 个点但存储增 20%，不值得。这个参数不是拍脑袋定的。”

追问准备：

• “chunk_size 怎么选？” — 和文档类型挂钩，保险条款句子比通用文本长 1.5 倍，512 太小；普通段落用 1024，关键条款用 1536
• “测试集 2000 个 QA 对，构建成本高怎么办？” — 前期一次性投入，后续每次改方案只需 10 分钟跑评估；没有测试集的优化是盲优化，更贵
• “有没有更好的切分方案？” — 语义切分（Semantic Chunking）理论上更准，但对 5000 份文档全量 Embedding 一次约 30-40 秒/份，规则方案只需 2-3 秒，当前延迟约束下规则方案是唯一可用方案

面试答题框架图

Chunk 切分是 RAG 系统里最容易被轻视的环节。大多数人花时间调 Embedding 和 Rerank，但知识库里有 30% 的 chunk 是语义残缺的，后面的一切优化都是在错误的地基上叠砖。能把切分方案讲到"三代演进 + 量化数据 + badcase 驱动"这个深度，说明你不只是拼装了一套 RAG，而是真正把每个模块的问题搞清楚了。

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。


对于想入局大模型、抢占未来10年行业红利的程序员和小白来说，现在正是最好的学习时机：行业缺口大、大厂需求旺、薪资天花板高，只要找准学习方向，稳步提升技能，就能轻松摆脱“低薪困境”，抓住AI时代的职业机遇。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、 AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

  

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】