什么是RAG？RAG的工作原理？结合Spring AI中的RAG，一篇文章告诉你！
RAG知识库
本文为个人学习记录，部分资料源于网上，个人进行学习记录总结，仅供学习参考。
什么是RAG？
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索技术和 AI 内容生成的混合架构，可以解决大模型的知识时效性限制和幻觉问题。
简单来说，RAG 就像给 AI 配了一个 “小抄本”，让 AI 回答问题前先查一查特定的知识库来获取知识，确保回答是基于真实资料而不是凭空想象。
从技术角度看，RAG 在大语言模型生成回答之前，会先从外部知识库中检索相关信息，然后将这些检索到的内容作为额外上下文提供给模型，引导其生成更准确、更相关的回答。通过 RAG 技术改造后，AI 就能：
- 准确回答关于特定内容的问题
- 在合适的时机推荐相关课程和服务
- 用特定的语气和用户交流
- 提供更新、更准确的建议
RAG的工作流程
1. 文档收集和切割
文档收集：从各种来源（网页、PDF、数据库等）收集原始文档
文档预处理：清洗、标准化文本格式
文档切割：将长文档分割成适当大小的片段（俗称 chunks）
- 基于固定大小（如 512 个 token）
- 基于语义边界（如段落、章节）
- 基于递归分割策略（如递归字符 n-gram 切割）
1.1. 进阶部分
文档收集和切割，这个过程俗称 ETL（抽取、转换、加载）。
在Spring AI中提供了对ETL的支持，对 Document 的处理通常遵循以下流程：
- 读取文档：使用
DocumentReader组件从数据源（如本地文件、网络资源、数据库等）加载文档。 - 转换文档：根据需求将文档转换为适合后续处理的格式，比如去除冗余信息、分词、词性标注等，可以使用
DocumentTransformer组件实现。 - 写入文档：使用
DocumentWriter将文档以特定格式保存到存储中，比如将文档以嵌入向量的形式写入到向量数据库，或者以键值对字符串的形式保存到 Redis 等 KV 存储中。
因此要学习Spring AI中的ETL核心就是要利用好DocumentReader 、DocumentTransformer 、DocumentWriter 这三个组件。
2. 向量转换和存储
向量转换：使用 Embedding 模型将文本块转换为高维向量表示，可以捕获到文本的语义特征
向量存储：将生成的向量和对应文本存入向量数据库，支持高效的相似性搜索
2.1. 进阶部分
向量存储是RAG应用的核心组件，Spring AI提供了向量数据库接口 VectorStore 和向量存储整合包，帮助开发者快速集成各种第三方向量存储，比如 Milvus、Redis、PGVector、Elasticsearch 等。
VectorStore 是 Spring AI 中用于与向量数据库交互的核心接口，它继承自 DocumentWriter，主要提供以下功能（其实就是对向量数据库的增删改查）：
- 添加文档到向量库
- 从向量库删除文档
- 基于查询进行相似度搜索
- 获取原生客户端（用于特定实现的高级操作）
向量存储的工作原理：在向量数据库中，查询与传统关系型数据库有所不同。向量库执行的是相似性搜索，而非精确匹配
- 嵌入转换：当文档被添加到向量存储时，Spring AI 会使用嵌入模型（如 OpenAI 的 text-embedding-ada-002）将文本转换为向量。
- 相似度计算：查询时，查询文本同样被转换为向量，然后系统计算此向量与存储中所有向量的相似度。
- 相似度度量：常用的相似度计算方法包括：
-
- 余弦相似度：计算两个向量的夹角余弦值，范围在 - 1 到 1 之间
- 欧氏距离：计算两个向量间的直线距离
- 点积：两个向量的点积值
- 过滤与排序：根据相似度阈值过滤结果，并按相似度排序返回最相关的文档
所以如果要实现不同的Vector Store，开发方法基本上一致：准备好数据源 -> 引入不同的整合包（依赖）-> 编写对应的配置 -> 使用自动注入的VectorStore
2.1.1. 拓展知识 - 批处理策略
在使用向量存储时，可能要嵌入大量文档，如果一次性处理存储大量文档，可能会导致性能问题、甚至出现错误导致数据不完整。
举个例子，嵌入模型一般有一个最大标记限制，通常称为上下文窗口大小（context window size），限制了单个嵌入请求中可以处理的文本量。如果在一次调用中转换过多文档可能直接导致报错。
为此，Spring AI 实现了批处理策略（Batching Strategy），将大量文档分解为较小的批次，使其适合嵌入模型的最大上下文窗口，还可以提高性能并更有效地利用 API 速率限制。
3. 文档过滤和检索
查询处理：将用户问题也转换为向量表示
过滤机制：基于元数据、关键词或自定义规则进行过滤
相似度搜索：在向量数据库中查找与问题向量最相似的文档块，常用的相似度搜索算法有余弦相似度、欧氏距离等
上下文组装：将检索到的多个文档块组装成连贯上下文
3.1. 进阶部分
Spring AI相当于把整个文档过滤检索阶段拆分为：检索前、检索时、检索后，分别针对每个阶段提供了可自定义的组件。
- 在预检索阶段，系统接收用户的原始查询，通过查询转换和查询扩展等方法对其进行优化，输出增强的用户查询。
- 在检索阶段，系统使用增强的查询从知识库中搜索相关文档，可能涉及多个检索源的合并，最终输出一组相关文档。
- 在检索后阶段，系统对检索到的文档进行进一步处理，包括排序、选择最相关的子集以及压缩文档内容，输出经过优化的相关文档集。
3.1.1. 预检索 - 优化用户查询
预检索阶段负责处理和优化用户的原始查询，以提高后续检索的质量。因此Spring AI提供了很多处理查询的组件（这几种组件的实现原理都类似，都是让AI根据提示词进行改写原始查询）。
- 查询转换 - 查询重写：
RewriteQueryTransformer使用大语言模型对用户的原始查询进行改写，使其更加清晰和详细。当用户查询含糊不清或包含无关信息时，这种方法特别有用。 - 查询转换 - 查询翻译：
TranslationQueryTransformer将查询翻译成嵌入模型支持的目标语言。如果查询已经是目标语言，则保持不变。这对于嵌入模型是针对特定语言训练而用户查询使用不同语言的情况非常有用，便于实现国际化应用（这个不太建议使用，成本大于第三方翻译API，不如自定义一个使用第三方API） - 查询转换 - 查询压缩：
CompressionQueryTransformer使用大语言模型将对话历史和后续查询压缩成一个独立的查询，类似于概括总结。适用于对话历史较长且后续查询与对话上下文相关的场景。 - 查询拓展 - 多查询拓展：
MultiQueryExpander使用大语言模型将一个查询扩展为多个语义上不同的变体，有助于检索额外的上下文信息并增加找到相关结果的机会。就理解为我们在网上搜东西的时候，可能一种关键词搜不到，就会尝试一些不同的关键词。
4. 查询增强和关联
提示词组装：将检索到的相关文档与用户问题组合成增强提示
上下文融合：大模型基于增强提示生成回答
源引用：在回答中添加信息来源引用
后处理：格式化、摘要或其他处理以优化最终输出
4.1. 进阶部分
生成阶段是 RAG 流程的最终环节，负责将检索到的文档与用户查询结合起来，为 AI 提供必要的上下文，从而生成更准确、更相关的回答。 Spring AI 提供的 2 种实现 RAG 查询增强的 Advisor，分别是 QuestionAnswerAdvisor 和 RetrievalAugmentationAdvisor。
RAG相关技术
Embedding 和 Embedding模型
Embedding 嵌入是将高维离散数据（如文字、图片）转换为低维连续向量的过程。这些向量能在数学空间中表示原始数据的语义特征，使计算机能够理解数据间的相似性。
Embedding 模型是执行这种转换算法的机器学习模型，如 Word2Vec（文本）、ResNet（图像）等。不同的 Embedding 模型产生的向量表示和维度数不同，一般维度越高表达能力更强，可以捕获更丰富的语义信息和更细微的差别，但同样占用更多存储空间。
向量数据库
向量数据库是专门存储和检索向量数据的数据库系统。通过高效索引算法实现快速相似性搜索，支持 K 近邻查询等操作。
注意，并不是只有向量数据库才能存储向量数据，只不过与传统数据库不同，向量数据库优化了高维向量的存储和检索。AI 的流行带火了一波向量数据库和向量存储，比如 Milvus、Pinecone 等。此外，一些传统数据库也可以通过安装插件实现向量存储和检索，比如 PGVector、Redis Stack 的 RediSearch 等。
召回
召回是信息检索中的第一阶段，目标是从大规模数据集中快速筛选出可能相关的候选项子集。强调速度和广度，而非精确度。
举个例子，我们要从搜索引擎查询 “编程导航 - 程序员一站式编程学习交流社区” 时，召回阶段会从数十亿网页中快速筛选出数千个含有 “编程”、“导航”、“程序员” 等相关内容的页面，为后续粗略排序和精细排序提供候选集。
精排和Rank模型
精排（精确排序）是搜索 / 推荐系统的最后阶段，使用计算复杂度更高的算法，考虑更多特征和业务规则，对少量候选项进行更复杂、精细的排序。比如，短视频推荐先通过召回获取数万个可能相关视频，再通过粗排缩减至数百条，最后精排阶段会考虑用户最近的互动、视频热度、内容多样性等复杂因素，确定最终展示的 10 个视频及顺序。
Rank 模型（排序模型）负责对召回阶段筛选出的候选集进行精确排序，考虑多种特征评估相关性。现代 Rank 模型通常基于深度学习，如 BERT、LambdaMART 等，综合考虑查询与候选项的相关性、用户历史行为等因素。举个例子，电商推荐系统会根据商品特征、用户偏好、点击率等给每个候选商品打分并排序。
混合检索策略
混合检索策略结合多种检索方法的优势，提高搜索效果。常见组合包括关键词检索、语义检索、知识图谱等。
比如在 AI 大模型开发平台 Dify 中，就为用户提供了 “基于全文检索的关键词搜索 + 基于向量检索的语义检索” 的混合检索策略，用户还可以自己设置不同检索方式的权重。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。
更多推荐
7
0- 0
已为社区贡献7条内容
所有评论(0)