RAG-重排序策略
·
RAG-重排序策略
**“**通过重排序策略对初始检索的候选文档重新打分排序，将最相关的内容提升到前列，从而提升大模型的上下文质量。”
RAG 系统中的重排序（Reranking）是对初始检索结果进行二次排序的核心后处理环节。初始检索通常依赖向量相似度或关键词匹配，返回的结果在语义相关性上存在噪声，重排序通过更精细的相关性判断模型对候选文档重新打分，将最相关的内容提升到前列，从而提高大模型接收到的上下文质量。
下面我们就来分享下重排序的几种方法
01 RRF重排
RRF（Reciprocal Rank Fusion）是一种简单而有效的多检索结果融合算法，它通过将多个检索查询的结果进行排名合并，来提高检索的准确性和覆盖面。
核心思想：
- 对于同一个用户问题，生成多个不同角度的查询
- 分别对每个查询进行检索
- 使用
RRF算法将多个检索结果列表融合成一个统一的排序列表 RRF算法为每个文档分配分数：score = 1/(rank + k)，其中rank是该文档在某个结果列表中的排名
优势：实现简单、速度快、没有算力成本
劣势：缺乏深层语义理解，精度弱于模型类重排算法
流程图
代码样例
import osimport uuidfrom dotenv import load_dotenvfrom openai import OpenAIfrom langchain_classic.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community.vectorstores import Milvusfrom langchain_classic.prompts import ChatPromptTemplatefrom langchain_core.output_parsers import StrOutputParserfrom langchain_core.embeddings import Embeddingsfrom langchain_core.documents import Documentfrom langchain_openai import ChatOpenAIfrom langchain_classic.load import dumps, loadsload_dotenv()# ===================== 配置初始化 =====================OPENAI_API_KEY = os.getenv("GLM_API_KEY")OPENAI_BASE_URL = os.getenv("GLM_BASE_URL")EMBEDDING_MODEL = os.getenv("GLM_EMBEDDING_MODEL", "embedding-3")MILVUS_URI = os.getenv("MILVUS_URI", "http://localhost:19530")COLLECTION_NAME = "finance_report_rrf"# 兼容 LangChain 的嵌入适配器class OpenAIEmbeddingsAdapter(Embeddings): def __init__(self, client, model): self.client = client self.model = model def embed_documents(self, texts): response = self.client.embeddings.create(input=texts, model=self.model) return [item.embedding for item in response.data] def embed_query(self, text): return self.embed_documents([text])[0]client = OpenAI(api_key=OPENAI_API_KEY, base_url=OPENAI_BASE_URL)embed_model = OpenAIEmbeddingsAdapter(client, EMBEDDING_MODEL)# ===================== 文档加载 =====================def parse_finance_document(): """构建财务分析示例文档""" texts = [ "悦享餐饮2020-2023财务综合分析报告：短期偿债能力分析。" "2020~2023年间，悦享餐饮速动比率分别为2.85、2.07、1.48和1.53，" "流动比率分别为2.12、2.24、1.61和1.68，整体呈先降后升趋势。" "2022年受非流动资产增加影响，流动比率大幅回落；" "2023年加强应付账款管控，流动资产增加，短期偿债能力略有改善。", "悦享餐饮2020-2023财务综合分析报告：长期偿债能力分析。" "资产负债率先升后降（21.56%->22.03%->28.15%->26.87%），" "产权比率同步变动（28.0%->39.9%->36.7%）。" "2022年受外部冲击，应付账款大增，资产负债率攀升至28.15%；" "2023年优化资产结构，总资产增至188652.47万元，负债回落。", "悦享餐饮2020-2023财务综合分析报告：营运能力分析。" "应收账款周转率从25.12次降至15.34次后回升至18.65次；" "存货周转率波动较大（10.87->8.23->12.35->11.68）。", "悦享餐饮2020-2023财务综合分析报告：盈利能力分析。" "2020~2021年毛利率稳定在60%左右，2022年大幅下滑至-10.23%，2023年回升至8.65%。" "净资产收益率同步下降，主要受门店扩张成本和疫情影响。", "悦享餐饮2020-2023财务综合分析报告：发展能力分析。" "2022年新增5家门店，成本3256.87万元，加剧资金压力；2023年暂停扩张。" "营业收入增长率从2021年的15.2%下降至2022年的-8.3%，2023年恢复至5.1%。", ] return [Document(page_content=t) for t in texts]def reciprocal_rank_fusion(results: list[list], k=60): """ RRF（Reciprocal Rank Fusion）算法实现 参数： results (list[list]): 多个检索结果列表，每个列表包含按相关性排序的文档 k (int): RRF算法的调节参数，默认值60（经验值） 返回： list: 融合后的(文档, 分数)元组列表，按分数降序排序 算法原理： score = 1 / (rank + k)，同一文档出现在多个列表中时累加分数 """ fused_scores = {} for docs in results: for rank, doc in enumerate(docs): doc_str = dumps(doc) if doc_str not in fused_scores: fused_scores[doc_str] = 0 fused_scores[doc_str] += 1 / (rank + k) reranked_results = [ (loads(doc), score) for doc, score in sorted(fused_scores.items(), key=lambda x: x[1], reverse=True) ] return reranked_results# ===================== 构建向量索引 =====================print("正在加载文档...")docs = parse_finance_document()text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=50)splits = text_splitter.split_documents(docs)print(f"文档已切分为 {len(splits)} 个文本块")print("正在创建 Milvus 向量索引...")vectorstore = Milvus( embedding_function=embed_model, collection_name=COLLECTION_NAME, connection_args={"uri": MILVUS_URI}, auto_id=True,)vectorstore.add_documents(splits)retriever = vectorstore.as_retriever(search_kwargs={"k": 3})print("向量索引创建完成")# ===================== 配置多查询生成器 =====================template = """你是一个帮助用户生成多个搜索查询的助手。请根据以下问题生成4个不同角度的相关搜索查询，这些查询应该：1. 从不同的角度理解原问题2. 使用不同的关键词和表达方式3. 覆盖问题的不同方面原问题：{question}请生成4个相关的搜索查询："""prompt_rag_fusion = ChatPromptTemplate.from_template(template)llm = ChatOpenAI( model="glm-4", temperature=0, api_key=OPENAI_API_KEY, base_url=OPENAI_BASE_URL)generate_queries = ( prompt_rag_fusion | llm | StrOutputParser() | (lambda x: [q.strip() for q in x.split("\n") if q.strip()]))# ===================== 测试 RRF 重排 =====================questions = [ "悦享餐饮的短期偿债能力怎么样？", "2022年毛利率为什么下滑？", "门店扩张对财务有什么影响？",]for idx, question in enumerate(questions, 1): print(f"\n{'='*50}") print(f"问题 {idx}: {question}") print('='*50) # 生成多个查询 queries = generate_queries.invoke({"question": question}) print(f"生成了 {len(queries)} 个查询：") for i, query in enumerate(queries, 1): print(f" 查询 {i}: {query}") # 对每个查询进行检索 all_results = [] for query in queries: query_docs = retriever.invoke(query) all_results.append(query_docs) # 使用RRF算法融合结果 reranked_docs = reciprocal_rank_fusion(all_results) # 展示最终结果 print(f"\nRRF重排结果（前3个）：") for i, (doc, score) in enumerate(reranked_docs[:3], 1): content_preview = doc.page_content[:200].replace('\n', ' ').strip() print(f"\n 排名 {i} (RRF分数: {score:.4f}):") print(f" 内容: {content_preview}...") if doc.metadata: print(f" 来源: {doc.metadata.get('source', '未知')}")
02 RankLLM重排
利用大语言模型（LLM）的深度语言理解能力进行文档重排，通过 prompt engineering 引导 LLM 对每个文档进行相关性评分。
优势：语义理解最深、推理能力强、可解释性好
劣势：成本高（LLM API调用）、延迟大
流程图
代码样例
import osfrom dotenv import load_dotenvfrom openai import OpenAIfrom langchain_community.vectorstores import Milvusfrom langchain_core.embeddings import Embeddingsfrom langchain_core.documents import Documentfrom langchain_openai import ChatOpenAIfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_core.output_parsers import StrOutputParserload_dotenv()# ===================== 配置初始化 =====================OPENAI_API_KEY = os.getenv("GLM_API_KEY")OPENAI_BASE_URL = os.getenv("GLM_BASE_URL")EMBEDDING_MODEL = os.getenv("GLM_EMBEDDING_MODEL", "embedding-3")MILVUS_URI = os.getenv("MILVUS_URI", "http://localhost:19530")COLLECTION_NAME = "finance_report_rankllm"class OpenAIEmbeddingsAdapter(Embeddings): def __init__(self, client, model): self.client = client self.model = model def embed_documents(self, texts): response = self.client.embeddings.create(input=texts, model=self.model) return [item.embedding for item in response.data] def embed_query(self, text): return self.embed_documents([text])[0]client = OpenAI(api_key=OPENAI_API_KEY, base_url=OPENAI_BASE_URL)embed_model = OpenAIEmbeddingsAdapter(client, EMBEDDING_MODEL)# ===================== 文档加载 =====================texts = [ "悦享餐饮2020-2023财务综合分析报告：短期偿债能力分析。" "2020~2023年间，速动比率分别为2.85、2.07、1.48和1.53，" "流动比率分别为2.12、2.24、1.61和1.68，整体呈先降后升趋势。", "悦享餐饮2020-2023财务综合分析报告：长期偿债能力分析。" "资产负债率先升后降（21.56%->22.03%->28.15%->26.87%），" "2022年受外部冲击，应付账款大增，资产负债率攀升至28.15%。", "悦享餐饮2020-2023财务综合分析报告：盈利能力分析。" "2020~2021年毛利率稳定在60%左右，2022年大幅下滑至-10.23%，2023年回升至8.65%。" "净资产收益率同步下降，主要受门店扩张成本和疫情影响。", "悦享餐饮2020-2023财务综合分析报告：发展能力分析。" "2022年新增5家门店，成本3256.87万元，加剧资金压力；2023年暂停扩张。" "营业收入增长率从2021年的15.2%下降至2022年的-8.3%，2023年恢复至5.1%。", "悦享餐饮2020-2023财务综合分析报告：营运能力分析。" "应收账款周转率从25.12次降至15.34次后回升至18.65次；" "存货周转率波动较大（10.87->8.23->12.35->11.68）。",]docs = [Document(page_content=t) for t in texts]# ===================== 创建 Milvus 向量检索器 =====================vectorstore = Milvus( embedding_function=embed_model, collection_name=COLLECTION_NAME, connection_args={"uri": MILVUS_URI}, auto_id=True,)vectorstore.add_documents(docs)retriever = vectorstore.as_retriever(search_kwargs={"k": 5})# ===================== LLM 重排器 =====================grade_prompt = ChatPromptTemplate.from_messages([ ("system", "你是一个文档相关性评分员。根据用户问题对文档进行评分。\n" "只输出一个0-10的整数分数，10表示高度相关，0表示完全无关。"), ("human", "用户问题：{question}\n\n文档内容：{document}\n\n相关性分数（0-10）："),])llm = ChatOpenAI(model="glm-4", temperature=0, api_key=OPENAI_API_KEY, base_url=OPENAI_BASE_URL)grader = grade_prompt | llm | StrOutputParser()def llm_rerank(query, docs, top_n=3): """ LLM 重排：对每个文档调用 LLM 评分，按分数降序返回前 top_n 个 参数： query: 用户查询 docs: 候选文档列表 top_n: 返回文档数 返回： list: 按 LLM 评分排序的 (文档, 分数) 元组列表 """ scored_docs = [] for doc in docs: try: score_str = grader.invoke({ "question": query, "document": doc.page_content }) score = int(score_str.strip()) except (ValueError, TypeError): score = 0 scored_docs.append((doc, score)) scored_docs.sort(key=lambda x: x[1], reverse=True) return scored_docs[:top_n]# ===================== 执行查询和重排 =====================query = "2022年毛利率为什么下滑？"# 第一阶段：Milvus 向量检索候选文档candidate_docs = retriever.invoke(query)# 第二阶段：LLM 重排reranked = llm_rerank(query, candidate_docs, top_n=3)print(f"查询: {query}\n")print("LLM 重排结果（前3个）：")for i, (doc, score) in enumerate(reranked, 1): print(f"\n 排名 {i} (相关性分数: {score}/10):") print(f" 内容: {doc.page_content[:150]}...") if doc.metadata: print(f" 来源: {doc.metadata.get('source', '未知')}")
03 CrossEncoder重排
CrossEncoder是一种基于BERT的双向编码器重排模型，将查询和文档作为一个整体输入，利用[CLS]标记的输出预测相关性分数，能够捕捉查询与文档之间的深层交互。
优势：精度高、语义理解强
劣势：计算开销大，每个查询-文档对需单独编码，不适合第一阶段检索（从海量的文档里快速粗筛选出少量的候选文档）
流程图
代码样例
from transformers import AutoTokenizer, AutoModelForSequenceClassificationimport torch# 1. 加载预训练的CrossEncoder模型model_name = "cross-encoder/ms-marco-MiniLM-L-12-v2"tokenizer = AutoTokenizer.from_pretrained(model_name)model = AutoModelForSequenceClassification.from_pretrained(model_name)def encode_and_score(query, docs): """ 计算查询与每个文档的相关性分数 输入格式: [CLS] query [SEP] document [SEP] 分数越高表示相关性越强 """ scores = [] for doc in docs: inputs = tokenizer( query, doc, return_tensors="pt", truncation=True, max_length=512, padding="max_length" ) with torch.no_grad(): outputs = model(**inputs) score = outputs.logits[0][0].item() scores.append(score) return scores# 2. 测试数据（财务分析场景）query = "悦享餐饮2022年毛利率为什么下滑？"documents = [ "2020~2021年毛利率稳定在60%左右，2022年大幅下滑至-10.23%，2023年回升至8.65%。" "净资产收益率同步下降，主要受门店扩张成本和疫情影响。", "2022年新增5家门店，成本3256.87万元，加剧资金压力；2023年暂停扩张。" "营业收入增长率从2021年的15.2%下降至2022年的-8.3%。", "2020~2023年间，速动比率分别为2.85、2.07、1.48和1.53，" "流动比率分别为2.12、2.24、1.61和1.68，整体呈先降后升趋势。", "资产负债率先升后降（21.56%->22.03%->28.15%->26.87%），" "2022年受外部冲击，应付账款大增，资产负债率攀升至28.15%。",]# 3. 执行CrossEncoder重排scores = encode_and_score(query, documents)ranked_docs = sorted(zip(documents, scores), key=lambda x: x[1], reverse=True)# 4. 输出重排结果print(f"查询: {query}\n")print("CrossEncoder重排结果（按相关性分数降序）：")for rank, (doc, score) in enumerate(ranked_docs, start=1): if score > 0: level = "高度相关" elif score > -2: level = "中等相关" else: level = "低相关" print(f"\n 排名 {rank} (分数: {score:.4f}, {level}):") print(f" {doc[:100]}...")
04 总结
| 重排算法 | 核心原理 | 核心优势 | 主要劣势 | 典型使用场景 |
|---|---|---|---|---|
| RRF | 多维度查询检索，通过公式1/(rank+k)融合排名得分 |
实现简单、速度快、无算力成本 | 无深层语义理解，精度偏低，依赖查询质量 | 多路召回合并、高并发快速检索 |
| RankLLM | 借助大模型 + 提示词，逐文档人工规则化打分排序 | 语义理解极强、具备逻辑推理、结果可解释 | 调用成本高、接口延迟大 | 专业问答、复杂推理、需要结果解释 |
| CrossEncoder | 拼接问句与文档整体编码，依靠 BERT 双向交互计算相关分 | 语义匹配精准、相关性判别能力强 | 逐对编码耗时高、算力开销大 | 搜索业务精排、RAG 少量候选文档排序 |
学AI大模型的正确顺序，千万不要搞错了
🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！
有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！
就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！
我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。
更多推荐
9
0- 0
已为社区贡献171条内容
所有评论(0)