AI大模型实战系列（六）：大浪淘沙——Advanced RAG 架构与 Reranker 重排深度解析

不会代码IT男

337人浏览 · 2026-03-19 09:19:54

不会代码IT男 · 2026-03-19 09:19:54 发布

AI大模型实战系列（六）：大浪淘沙——Advanced RAG 架构与 Reranker 重排深度解析

在上一章中，我们构建了“混合检索（Hybrid Retrieval）”架构，巧妙利用 BM25 捕捉精准关键字，利用向量数据库泛化语义意图。似乎只要把这两路引擎召回的结果一股脑塞给大模型，一个完美的 RAG 系统就诞生了。

然而，真实的工业级场景远比这残酷。随着企业知识库规模从十万级膨胀到千万级，你会发现一个绝望的现象：系统确实把相关的文档找出来了，但同时也带出了大量似是而非的“噪音”片段。 大语言模型（LLM）并不是完美的阅读机器。斯坦福大学的经典研究表明，当你在 Prompt 中塞入 10 个甚至 20 个文档块时，LLM 会遭遇严重的**“迷失在中间（Lost in the Middle）”**效应——它只对开头和结尾的信息保持敏感，而会彻底忽略中间段落的关键事实。此外，过长的无用上下文会导致极其高昂的 Token 算力成本和灾难性的推理延迟（TTFT，首字返回时间变长）。

我们需要一种能够在文档喂给 LLM 之前，对其进行“大浪淘沙”式精准提纯的武器。本章，我们将正式迈入 Advanced RAG（进阶 RAG） 的核心深水区：揭秘两阶段检索架构、**Reranker（重排模型）的底层逻辑，以及查询转换（Query Transformation）**高阶技巧。

一、认知颠覆：为什么向量检索只能做“粗排”？

要理解重排（Rerank），首先要彻底明白为什么我们之前使用的 Embedding 向量检索在精度上存在天花板。

1. 双编码器（Bi-Encoder）的“信息隔离”妥协

我们在第三章使用的 bge-m3 等基础向量模型，在深度学习架构上属于双编码器（Bi-Encoder）。
它的工作机制是“提前计算，各自独立”：

在入库阶段，模型将千万个文档块各自“压缩”成独立的向量，存入数据库。
在查询阶段，模型将用户的问题单独压缩成一个向量。
最后，在向量空间中计算这两个向量的余弦夹角（Cosine Similarity）。

这种架构极其快速，因为文档的向量是提前算好的，查询时只需做简单的数学点积，能够轻松支撑亿级数据的毫秒级并发。
但其代价是语义折损极其严重。因为查询向量和文档向量在最终计算距离之前，是没有任何深度交互的。这就好比两个人隔着毛玻璃看对方，只能通过整体的“轮廓”（宏观语义）来判断是否匹配，根本无法进行细粒度的字词推敲。

2. 粗排导致的“高召回、低精度”

在实际业务中，由于这种“隔着毛玻璃”的匹配机制，向量检索经常会把包含相同高频词汇、但核心逻辑完全相反的文档块找出来。
为了保证真正有用的文档不被漏掉，工程上的妥协做法是：把召回数量（Top-K）设置得非常大（例如一次性捞出前 20 篇文档）。这 20 篇文档中，可能只有 2 篇是黄金内容，剩下 18 篇全是垃圾噪音。这就完成了第一阶段的任务：粗排（Retrieve）。

二、核心武器：Reranker 重排模型的降维打击

为了在海量的粗排结果中精准锁定那 2 篇“黄金文档”，我们需要引入大杀器：重排模型（Reranker）。

1. 交叉编码器（Cross-Encoder）的深度凝视

Reranker 通常采用完全不同的**交叉编码器（Cross-Encoder）**神经网络架构。
它的机制极其硬核：它根本不生成单独的向量。相反，它直接将“用户的问题”和“某一个粗排出来的文档块”拼接成一段完整的文本，作为一个整体输入到 Transformer 网络中。

在这种模式下，Transformer 的 Self-Attention（自注意力）机制发挥了恐怖的威力。模型的每一层网络，都在让“问题中的每一个词”与“文档中的每一个词”进行极其深度的交叉比对、权重计算和逻辑推演。
这就好比不是看轮廓，而是两个人面对面、拿着放大镜审查每一句话的逻辑关联。最终，模型会输出一个 $0$ 到 $1$ 之间的精确浮点数，代表这篇文档对回答该问题有多大价值。

2. 工业级标配：两阶段检索架构（Two-Stage Pipeline）

既然 Reranker 这么准，为什么不直接用它去检索整个数据库？
答案是：算力绝对无法承受。
向量检索的复杂度是 $O (1)$ ，而 Cross-Encoder 的复杂度是 $O (N)$ 且伴随着庞大的矩阵运算。如果用 Reranker 去比对数据库里的 100 万篇文档，哪怕只查一个问题，都需要消耗几十分钟的 GPU 算力。

因此，现代企业级 RAG 架构采用了极其优美的折中方案——两阶段检索（Two-Stage Retrieval）：

第一阶段（海选 / 粗排 Retrieve）：利用低成本、极速的向量检索或混合检索，从百万级库中迅速捞出最相关的 Top-20 或 Top-50 个候选片段。
第二阶段（精选 / 精排 Rerank）：调用高精度、高算力消耗的 Reranker 模型，仅对这几十个候选文档进行深度交叉打分，并重新进行绝对排序。最后，系统只截取分数最高的 Top-3 或 Top-5 喂给大语言模型（LLM）。

三、 LangChain 实战：构建带阈值过滤的重排流水线

在 LangChain 框架中，Reranker 的工作流被极其优雅地封装为**上下文压缩（Contextual Compression）**机制。

下面，我们将使用纯 Python 代码，基于国内最强开源重排模型 bge-reranker，编写一段具备企业级健壮性（包含分数阈值截断功能）的精排代码。

1. 模型选型与依赖

企业私有化部署的重排模型，首推智源研究院的 BAAI/bge-reranker-large 或 bge-reranker-base。它们对中文语境理解极深，且参数量适中（Base 版仅几亿参数，CPU 也能勉强跑，单张消费级显卡即可实现极速推理）。
你需要预先执行 pip install sentence-transformers。

2. 核心架构代码梳理

from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import CrossEncoderReranker
from langchain_community.cross_encoders import HuggingFaceCrossEncoder
from langchain_community.vectorstores import Chroma

# ---------------------------------------------------------
# 第一阶段：粗排 (Base Retriever)
# ---------------------------------------------------------
# 假设 vectorstore 已经连接了我们千万级的 Chroma 数据库
# 在粗排阶段我们非常贪婪，直接召回前 20 个可能相关的文档块，绝不漏掉任何蛛丝马迹
base_retriever = vectorstore.as_retriever(search_kwargs={"k": 20})

# ---------------------------------------------------------
# 第二阶段：精排引擎初始化 (Cross-Encoder)
# ---------------------------------------------------------
# 加载本地私有化部署的 BGE-Reranker 模型
model_name = "BAAI/bge-reranker-base" 
cross_encoder = HuggingFaceCrossEncoder(model_name=model_name)

# 初始化 Reranker 压缩器
# 注意：工业界最佳实践不只是简单的截取 Top-N
# 更高级的做法是搭配相似度分数阈值，分数太低的哪怕排第一也不要
reranker_compressor = CrossEncoderReranker(
    model=cross_encoder, 
    top_n=3 # 最终只保留得分最高的前 3 个黄金文档
)

# ---------------------------------------------------------
# 终极装甲：组装上下文压缩检索器
# ---------------------------------------------------------
# 这个对象会将 base_retriever 的输出自动拦截，无缝送给 reranker_compressor 处理
compression_retriever = ContextualCompressionRetriever(
    base_compressor=reranker_compressor, 
    base_retriever=base_retriever
)

# ---------------------------------------------------------
# 业务调用执行
# ---------------------------------------------------------
query = "公司针对核心研发人员的竞业限制补偿金发放标准是什么？"

# 一行代码，内部自动完成：向量检索捞 20 条 -> Reranker 交叉打分重排 -> 剔除 17 条 -> 返回最准的 3 条
compressed_docs = compression_retriever.invoke(query)

print(f"经过大浪淘沙，最终保留了 {len(compressed_docs)} 个高价值文档块。")
for idx, doc in enumerate(compressed_docs):
    # 打印重排后的置信度分数，分数越高关联性越强
    score = doc.metadata.get('relevance_score', 0)
    print(f"--- 排名第 {idx+1} (重排得分: {score:.4f}) ---")
    print(doc.page_content)

通过加入这层“滤网”，大语言模型收到的 Prompt 背景知识将变得极其干净、纯粹。LLM 不再需要从一堆垃圾信息中艰难寻找线索，系统的“幻觉率”将呈指数级下降。

四、高阶进阶：查询转换（Query Transformation）的隐藏杀招

解决了“检索后”的提纯问题，真正资深的 AI 架构师会把目光再次放回“检索前”。

在真实的 C 端业务中，用户输入的 Query（查询词）往往是灾难性的。例如，在一个多轮对话的客服系统中，用户上一句说“我的电脑开不了机了”，下一句突然问“怎么修？”。
如果系统傻乎乎地直接把“怎么修？”这三个字拿去向量数据库里搜，绝对会召回一堆毫不相关的垃圾内容，导致 Reranker 也无力回天。

为了解决这个问题，Advanced RAG 在进入“粗排”之前，必定会增加一步极其关键的基础设施：查询转换（Query Transformation）。

1. 查询重写（Query Rewrite）

利用一个小参数量的大模型（甚至不需要太强的推理能力），结合用户的历史聊天记录，对当前问题进行“补全”和“重构”。

用户输入：怎么修？
LLM 重写后：联想 ThinkPad 笔记本电脑无法开机，正确的维修排查流程是什么？
拿重写后的标准句子去查向量库，召回率将获得质的飞跃。

2. 多查询扩张（Multi-Query Expansion）

面对极其复杂的行业黑话，用户的提问用词可能与官方文档的表述存在巨大鸿沟。
此时，我们利用 LLM 的语言泛化能力，将用户的 $1$ 个原始问题，改写成 $3$ 到 $5$ 个不同表达方式的同义问题。
然后，让系统拿着这 $5$ 个问题并发去向量数据库里查，最后对所有召回的结果取并集（Union），再交给 Reranker 去重排。这极大地提升了系统对长尾问题和模糊表达的鲁棒性。