检索增强生成（Retrieval-Augmented Generation，RAG）作为解决大模型幻觉、提升回答时效性与准确性的核心技术方案，其质量依赖于“文档处理→Embedding模型→向量存储→检索方式→生成LLM→评估”全流程的协同优化。任何一个环节出现偏差，都会导致最终回答质量下降（如检索不准、幻觉残留、响应缓慢等）。下面将针对RAG流程中的三个大阶段（数据准备、知识检索、答案生成）进行系统的分析常见问题、拆解其根源，并结合行业最佳实践，提供可落地的提升方法、解决方案及具体案例代码，助力企业级RAG系统实现高质量落地

一、数据准备阶段

1.1 常见问题

• 数据质量差： 企业大部分数据（尤其是非结构化数据，如图片、音频、公式、文档等）缺乏良好的数据治理，未经标记/评估的非结构化数据可能包含敏感、过时、矛盾或不正确的信息。

• 多模态信息： 提取、定义和理解文档中的不同内容元素，如标题、配色方案、图像和标签等存在挑战。

• 复杂的PDF提取： PDF是为人类阅读而设计的，其内部排版多样（如浮动文本、图文叠加、分栏布局）、逻辑复杂、扫描件模糊等问题，导致机器解析时易出现文本提取不全、格式错乱、内容错位等问题，影响后续处理。

1.2 如何提升数据准备阶段的质量

1.2.1 构建完整的数据准备流程

数据评估与分类

• 数据审计：全面审查现有数据，识别敏感（如个人隐私、公司机密等）、过时（如旧数据、旧政策、旧制度等）、逻辑矛盾或不准确的信息。

• 数据分类：按类型、来源、敏感性和重要性对数据进行分类，便于后续处理。

数据清洗

• 去重：删除重复数据

• 纠错：修正格式错误、拼写错误等

• 更新：替换过时信息，确保数据时效性

• 一致性检查：解决数据矛盾，确保逻辑一致

敏感信息处理

• 识别敏感数据：使用工具或正则表达式识别敏感信息，如个人身份信息

• 脱敏或加密：对敏感数据进行脱敏处理，确保合规。

数据标记与标注

• 元数据标记：为数据添加元数据，如来源、创建时间等

• 内容标注：对非结构化数据进行标注，便于后续检索和分析

数据治理框架

• 制定政策：明确数据管理规范、访问权限控制、更新迭代流程、质量考核标准。

• 责任分配：指定数据治理负责人与执行团队，明确各角色职责，确保政策落地。

• 监控与审计：搭建实时数据质量监控面板，定期开展数据审计，及时发现并解决质量问题，形成闭环管理

1.2.2 智能文档技术

借助成熟工具与模型，攻克多模态、复杂格式文档的解析难题，提升数据提取精度

• 阿里文档智能

  文档智能（Document Mind），基于多年技术积累打造的多模态文档识别与理解引擎，为用户提供各类文档的结构化信息抽取和智能化文档处理。支持通用场景和自定义场景下的多样化文档处理需求

  官网地址：https://www.aliyun.com/product/ai/docmind?spm=a2c4g.11174283.0.0.bfe667a8tIVMdG

• 微软 LayoutLMv3：

  基于Transformer的多模态预训练模型，融合文本内容与文档布局信息（如位置、字体、行列），擅长处理扫描件、复杂排版PDF的文本提取与理解

  https://www.microsoft.com/en-us/research/articles/layoutlmv3/

• 全能文档解析神器MinerU（推荐使用）

  https://mineru.net/

建立“解析→清洗→分类→校验→增量更新”的标准化流程，保证知识的完整性与语义连贯性；对于复杂格式文档，采用“工具组合+人工校验”的方式，降低解析误差

1.3 构建知识库的其他环节（Embedding/Index）

Embedding环节

核心是“模型适配+微调优化”，优先选用与业务场景匹配的模型，对于企业级场景，必要时可以结合自有数据进行微调；同时注意文本长度与模型限制的适配，融入元数据提升语义表征的丰富度，确保向量能准确反映文本的核心语义。

向量存储环节

核心是“选型适配+索引优化+数据一致”，根据数据量与业务场景选择合适的向量数据库，优先优化索引以平衡检索速度与精准度；建立完善的同步与校验机制，确保向量库与文档库一致；同时利用元数据过滤提升检索相关性，保障系统响应速度。

二、知识检索阶段

检索环节是RAG的“核心枢纽”，核心目标是根据用户查询，从向量库中检索出最相关的文本片段（Top-K），为后续生成环节提供精准的上下文。此环节的检索准确性、召回率直接决定回答的质量——若检索不到相关内容，大模型会陷入幻觉；若检索到无关内容，会导致回答偏离需求

2.1. 常见问题

• 内容缺失

  当检索过程缺少关键内容时，系统会提供不完整、碎片化的答案 => 降低RAG的质量

• 错过排名靠前的文档

  用户查询相关的文档时被检索到，但相关性极低，导致答案不能满足用户需求，这是因为在检索过程中，用户通过主观判断决定检索“文档数量”。理论上所有文档都要被排序并考虑进一步处理，但在实践中，通常只有排名top k的文档才会被召回，而k值需要根据经验确定。

• 不在上下文中

  从数据库中检索出包含答案的文档，但未能包含在生成答案的上下文中。这种情况通常发生在返 回大量文件时，需要进行整合以选择最相关的信息。

• 多跳检索能力不足

  用户查询涉及多步推理（如“某产品的安装步骤中，如何解决接口报错问题”），仅能检索到单一步骤的内容，无法关联多段相关文本

2.2. 如何提升知识检索阶段的质量

（1）通过查询转换澄清用户意图

通过查询转换澄清用户意图：明确用户意图，提高检索准确性

• 场景：用户询问 “如何申请信用卡？”

• 问题：用户意图可能模糊，例如不清楚是申请流程、所需材料还是资格条件。

• 解决方法：通过查询转换明确用户意图。

• 实现步骤：

  • 意图识别：使用自然语言处理技术识别用户意图。例如，识别用户是想了解流程、材料还是资格。

  • 查询扩展：根据识别结果扩展查询。例如：

    • 如果用户想了解流程，查询扩展为“信用卡申请的具体步骤”

    • 如果用户想了解材料，查询扩展为“申请信用卡需要哪些材料”

    • 如果用户想了解资格，查询扩展为“申请信用卡的资格条件”

  • 检索：使用扩展后的查询检索相关文档

• 示例：

  1. 用户输入：“如何申请信用卡？”

  2. 系统识别意图为 流程，扩展查询为 信用卡申请的具体步骤

  3. 检索结果包含详细的申请步骤文档，系统生成准确答案

（2）混合检索和重排策略

采用混合检索和重排策略：确保最相关的文档被优先处理，生成更准确的答案

语义检索（向量检索）+ BM25稀疏关键词检索，将两者的检索结果进行融合（如加权融合：语义检索权重0.7，BM25权重0.3），既捕捉语义相关性，又解决关键词匹配问题

• 场景：用户询问“信用卡年费是多少？”

• 问题：直接检索可能返回大量文档，部分相关但排名低，导致答案不准确。

• 解决方法：采用混合检索和重排策略。

• 步骤：

  1. 混合检索：结合关键词检索和语义检索。比如：关键词检索：“信用卡年费”。

  2. 语义检索：使用嵌入模型检索与“信用卡年费”语义相近的文档。

  3. 重排：对检索结果进行重排。

  4. 生成答案：从重排后的文档中生成答案。

• 示例：

  1. 用户输入：“信用卡年费是多少？”

  2. 系统进行混合检索，结合关键词和语义检索。

  3. 重排后，最相关的文档（如“信用卡年费政策”）排名靠前。

  4. 系统生成准确答案：“信用卡年费根据卡类型不同，普通卡年费为100元，金卡为300元，白金卡为1000元。”

（3）实现多跳检索能力

• 方案一：基于LangChain、LlamaIndex的多跳检索框架，先检索与查询直接相关的Chunk，再以该Chunk为“中间查询”，检索关联的Chunk，逐步获取完整的推理链条；

• 方案二：GraphRAG结合，将文档中的实体、关系构建为知识图谱，检索时通过知识图谱关联多段相关文本，实现多跳推理；例如，用户查询“接口报错解决方案”，先检索“接口报错原因”，再关联检索“对应原因的解决方案”；

• 多跳校验：多跳检索后，对关联的Chunk进行语义一致性校验，避免关联无关内容。

检索环节的核心是“混合检索+重排序+多跳能力”，优先采用语义检索与稀疏检索结合的混合策略，解决单一检索的局限性；合理设置Top-K参数，通过重排序提升结果相关性；针对多步推理查询，实现多跳检索，确保获取完整的上下文；同时优化用户查询理解，降低检索偏差

三、 答案生成阶段

答案生成环节是RAG的“最终输出端”，核心目标是结合检索到的上下文（Top-K Chunk）与大模型，生成“准确、流畅、贴合需求、无幻觉”的回答。此环节的问题直接影响用户体验，是用户感知RAG质量的核心环节

3.1. 常见问题

• 未提取： 答案与所提供的上下文相符，但大语言模型却无法准确提取。这种情况通常发生在上下文中存在过多噪音或相互冲突的信息时。

• 不完整： 尽管能够利用上下文生成答案，但信息缺失会导致对用户查询的答复不完整。格式错误：当prompt中的附加指令格式不正确时，大语言模型可能误解或曲解这些指令，从而导致错误的答案。

• 幻觉： 大模型可能会产生误导性或虚假性信息。

• 多轮对话记忆不足：多轮对话场景中，未保留历史上下文与检索结果，导致回答前后矛盾，无法连贯响应用户需求

3.2. 如何提升答案生成阶段的质量

方案一、优化Prompt工程-改进提示词模板

场景	原始提示词	改进后的提示词
用户询问“如何申请信用卡？”	“根据以下上下文回答问题：如何申请信用卡？”	“根据以下上下文，提取与申请信用卡相关的具体步骤和所需材料：如何申请信用卡？”
用户询问“信用卡的年费是多少？”	“根据以下上下文回答问题：信用卡的年费是多少？”	“根据以下上下文，详细列出不同信用卡的年费信息，并说明是否有减免政策：信用卡的年费是多少？”
用户询问“什么是零存整取？”	“根据以下上下文回答问题：什么是零存整取？”	“根据以下上下文，准确解释零存整取的定义、特点和适用人群，确保信息真实可靠：什么是零存整取？”

如何对原有的提示词进行优化？

可以通过 DeepSeek-R1 或 QWQ 的推理链，对提示词进行优化：

• 信息提取：从原始提示词中提取关键信息。

• 需求分析：分析用户的需求，明确用户希望获取的具体信息。

• 提示词优化：根据需求分析的结果，优化提示词，使其更具体、更符合用户的需求。

方案二、实施动态防护栏

动态防护栏（Dynamic Guardrails）是一种在生成式AI系统中用于实时监控和调整模型输出的机制，旨在确保生成的内容符合预期、准确且安全。它通过设置规则、约束和反馈机制，动态地干预模型的生成过程，避免生成错误、不完整、不符合格式要求或含有虚假信息（幻觉）的内容。

在RAG系统中，动态防护栏的作用尤为重要，因为它可以帮助解决以下问题：

• 未提取：确保模型从上下文中提取了正确的信息。

• 不完整：确保生成的答案覆盖了所有必要的信息。

• 格式错误：确保生成的答案符合指定的格式要求。

• 幻觉：防止模型生成与上下文无关或虚假的信息。

场景1：防止未提取

用户问题：“如何申请信用卡？”

• 上下文：包含申请信用卡的步骤和所需材料。

• 动态防护栏规则：检查生成的答案是否包含“步骤”和“材料”。如果缺失，提示模型重新生成。

• 示例：

  • 错误输出：“申请信用卡需要提供一些材料。”

  • 防护栏触发：检测到未提取具体步骤，提示模型补充。

场景2：防止不完整

用户问题：“信用卡的年费是多少？”

• 上下文：包含不同信用卡的年费信息。

• 动态防护栏规则：检查生成的答案是否列出所有信用卡的年费。如果缺失，提示模型补充。

• 示例：

  • 错误输出：“信用卡A的年费是100元。”

  • 防护栏触发：检测到未列出所有信用卡的年费，提示模型补充。

场景3：防止幻觉

用户问题：“什么是零存整取？”

• 上下文：包含零存整取的定义和特点。

• 动态防护栏规则：检查生成的答案是否与上下文一致。如果不一致，提示模型重新生成。

• 示例：

  • 错误输出：“零存整取是一种贷款产品。

  • 防护栏触发：检测到与上下文不一致，提示模型重新生成。

如何实现动态防护栏技术？

事实性校验规则，在生成阶段，设置规则验证生成内容是否与检索到的知识片段一致。例如，可以使用参考文献验证机制，确保生成内容有可靠来源支持，避免输出矛盾或不合理的回答。

如何制定事实性校验规则？

当业务逻辑明确且规则较为固定时，可以人为定义一组规则，比如：

• 规则1：生成的答案必须包含检索到的知识片段中的关键实体（如“年费”、“利率”）。

• 规则2：生成的答案必须符合指定的格式（如步骤列表、表格等）。

• 实施方法：

  • 使用正则表达式或关键词匹配来检查生成内容是否符合规则。

  • 例如，检查生成内容是否包含“年费”这一关键词，或者是否符合步骤格式（如“1. 登录；2. 设置”）。

方案三、多轮对话记忆优化

• 记忆存储：将多轮对话中的用户查询、检索结果、生成回答存储在会话记忆中，每次生成回答时，注入历史上下文与历史检索结果，确保回答连贯；

• 记忆精简：对于长会话，定期精简记忆内容，保留核心信息（如历史查询的关键要点、核心回答），避免记忆内容过多超出大模型上下文窗口；

• 上下文关联：在Prompt中明确“结合历史对话上下文，连贯回答当前查询”，确保多轮对话中回答前后一致，不出现矛盾

答案生成环节的核心是“Prompt工程+上下文优化+动态防护栏”，通过明确的Prompt指令约束大模型行为，避免幻觉；优化上下文的筛选与注入，确保大模型能充分利用相关信息；规范回答格式，提升可读性；多轮对话场景中，做好记忆管理，确保回答连贯

四、思考

如果LLM支持处理无限上下文了，RAG还有意义吗？

即便LLM突破上下文长度限制，RAG依然是提升生成式AI系统性能的核心方案，核心价值体现在以下几个维度：

1. 效率与成本优化：LLM处理超长上下文时，计算资源消耗呈指数级增长，响应延迟显著增加。RAG通过精准检索核心片段，大幅缩短输入上下文长度，平衡性能与成本。

2. 知识时效性保障：LLM知识截止于训练数据，无法实时更新。RAG可直接连接外部知识库（如企业实时数据、行业最新政策），实现知识动态迭代，规避“知识过期”问题。

3. 可解释性与信任度提升：RAG的检索过程透明可追溯，用户可查看答案对应的原始文档来源，增强对答案的信任；而LLM超长上下文生成过程“黑箱化”，难以追溯信息源头。

4. 领域定制化能力：RAG可针对特定行业（如金融、医疗）、企业私有数据构建定制化检索系统，精准匹配业务需求；LLM通用性强，但针对垂直领域的精准度难以超越定制化RAG。

5. 数据隐私合规：RAG支持本地私有数据源检索，敏感数据无需上传至云端LLM，规避数据泄露风险，适配政务、金融等隐私要求高的场景

综上，RAG还是必须的，LLM的生成能力与RAG的检索能力是互补关系，二者结合可实现“精准检索+高质量生成”的协同效应，为用户提供更高效、准确、合规的答案