摘要

本文系统梳理了Naive RAG（检索增强生成）技术的构建流程与核心原理。文章首先回顾了大语言模型的基础知识，包括Transformer架构的四大优势（并行计算、长距离依赖捕捉、可扩展性与灵活性）以及大模型三阶段训练流程（预训练、微调、人类反馈强化学习），为理解RAG技术奠定理论基础。随后详细阐述了RAG的核心概念、工作流程和关键技术环节，包括索引阶段的文档分块策略（按字符数切分、重叠窗口切分、按句子切分等）、向量化技术原理，以及检索-增强-生成的完整处理链条。文章指出RAG通过结合大语言模型与外部知识库，有效解决了模型的时效性问题、知识覆盖度不足和幻觉问题，具有实现成本低、复杂度小、知识更新便捷等优势。最后，文章强调Naive RAG是RAG技术的基础起点，掌握其构建流程对于深入理解更高级的RAG架构具有重要意义，为读者建立从理论到实践的完整认知框架。

知识背景回顾

在深入探讨RAG技术之前，让我们先回顾一下大语言模型的核心工作原理。现代大模型基于Transformer架构，通过并行计算、自注意力机制等技术优势，能够高效处理海量文本并捕捉长距离依赖关系。大模型的训练遵循三阶段流程：首先通过自监督学习在海量数据上进行预训练，获得通用语言能力；然后通过监督学习进行指令微调，使其能够理解和执行具体任务；最后通过人类反馈强化学习（RLHF）实现价值观对齐，确保输出内容符合人类偏好。这些基础知识为我们理解RAG技术提供了重要支撑——RAG正是在这些强大基础模型之上，通过引入外部知识检索机制，进一步扩展了模型的能力边界。

作为一名正在深入学习RAG技术的大学生，我想通过这篇文章来梳理和分享我对Naive RAG构建流程的理解。RAG（Retrieval-Augmented Generation）作为一种结合检索和生成的技术，在解决大语言模型局限性方面展现出了巨大潜力。

一、RAG技术概述

1.1 解决的问题

当前大语言模型虽然功能强大，但仍然存在几个明显的局限性：

• 时效性问题：模型训练完成后，无法获取新知识
• 知识覆盖度不足：特定领域知识可能不够全面
• 幻觉问题：可能生成不准确或虚构的信息

针对这些问题，业界提出了RAG和微调两种解决方案。相比微调，RAG具有实现成本低、复杂度小的优势，特别是在知识库更新方面表现最佳。

1.2 核心概念

RAG是一种结合了检索和生成两种方法的技术。其工作原理是：

1. 先检索相关的文档
2. 用检索出的信息对提示词进行增强
3. 使用大模型生成最终答案

1.3 本质理解

RAG的本质可以简单概括为：RAG = 大模型LLM + 外部数据 这种架构使得模型能够访问实时的外部知识，大大扩展了其应用范围。

二、RAG工作流程

RAG的工作流程主要分为三个核心步骤：

2.1 索引阶段

文档 -> 分块 -> 向量化 -> 存储

2.2 检索阶段

用户提问 -> 向量化 -> 检索数据库

2.3 增强生成阶段

增强提示词(原始问题+相关文档块) -> 生成答案

下图为RAG架构基本流程，图片来自于网络。

三、文档分块策略

文档分块是RAG流程中的重要环节，直接影响检索效果。常见的分块策略包括：

3.1 基本分块策略

1. 按字符数切分：按照固定字符数进行切分
2. 重叠窗口切分：结合overlapping window，避免信息断层
3. 按句子切分：保持语义完整性
4. 递归切分：使用RecursiveCharacterTextSplitter进行智能切分

合理的分块策略需要在保持语义完整性和控制块大小之间找到平衡。

四、向量化技术

4.1 向量检索原理

向量检索的核心思想是：根据用户的输入，与向量数据库中存放的文本向量进行相似度计算匹配，并检索返回最为相似的内容。

4.2 文本嵌入过程

1. 文本转换：文本嵌入模型将文本转换为"句向量"或"文本块向量"
2. 向量化存储：每个文档分块对应一个向量，存储在向量数据库中
3. 相似度匹配：通过计算向量间的相似度找到最相关的内容

五、实际应用价值

Naive RAG的构建流程看似简单，但其实蕴含着深刻的工程考量。通过这种架构，我们可以：

• 实现知识的实时更新
• 提高回答的准确性
• 减少模型幻觉问题
• 降低模型微调的成本

六、总结与展望

通过对Naive RAG构建流程的学习，我深刻认识到这不仅是一项技术，更是一种思维方式的转变。它让我们不再局限于模型的固有知识，而是学会了如何让AI系统具备持续学习和适应的能力。

当然，Naive RAG只是RAG技术的起点，后续还有Advanced RAG、Modular RAG等更复杂的架构等待我们去探索。作为初学者，掌握好基础流程是迈向更高层次的关键一步。

希望这篇总结能帮助更多同学理解RAG技术，也欢迎大家一起交流学习心得！