本文深入探讨了RAG系统中重排序（Rerank）的重要性，指出向量检索虽然能召回大量文档，但往往答非所问。文章解析了Bi-Encoder和Cross-Encoder的核心区别，Bi-Encoder仅比较相似度，而Cross-Encoder能深度理解文档与问题的相关性。文章建议结合两者，先快速召回再精准筛选，并通过阈值过滤和领域微调进一步提升效果，最终提升RAG系统的回答质量。

---

一、从一个问题说起

你有没有遇到过这种情况：RAG系统明明召回了10条文档，但真正能回答用户问题的，可能只有寥寥几条？

这不是个例。很多人在做RAG项目时，把大量精力放在向量检索调参上，却忽略了中间最关键的一环——Rerank（重排序）。

今天这篇文章，我们用大白话把RAG中的Rerank讲清楚，并深入解析背后的Bi-Encoder与Cross-Encoder核心区别。

二、向量检索为什么会召回"答非所问"的内容？

什么是向量检索？

简单理解：把问题和文档都变成一串"数字"（向量），然后找"距离最近"的文档。

**真实场景举例：**在保险知识库里搜索"感冒发烧要吃什么药？"，可能召回这些内容：

“感冒期间应多休息，多喝水” ❌

“发热是人体的一种防御反应” ❌

“感冒分为普通感冒和流行性感冒” ❌

“体温超过38.5℃可服用对乙酰氨基酚或布洛芬” ✅

前三条都含有感冒发热的词，语义上看起来很相关，但都不是用户真正需要的答案。

这就是向量检索的局限：

它只认"长得像"，不认"能不能用"。

三、Bi-Encoder 和 Cross-Encoder 的核心区别

Bi-Encoder（向量检索）——像两个人分别给自己的目标"拍照"：一个人给问题拍照，另一个人给文档拍照

特点：问题和文档分开处理，两人各自得到一张"特征照片"，然后比较两张照片的相似度。

图：Bi-Encoder — 两人各自得到一张"特征照片"，比较两张照片的相似度判断"像不像"

Cross-Encoder（重排序）——像一个正常人同时看着问题和文档：

特点：问题和文档一起处理，能深度理解两者的关系。

图：Cross-Encoder — 同时看问题和文档，深度理解"能不能用"

一句话总结区别：

Bi-Encoder看文档和问题"像不像"，Cross-Encoder看文档问题"能不能用"。

四、为什么"看起来像"但"不能用"？

你有没有想过：为什么向量检索会召回那些答非所问的文档？

答案就在于Bi-Encoder的工作方式。它把问题变成一个数字向量，把文档变成另一个数字向量，然后比较两个向量的**“距离”**。

它只能捕捉到**“话题相似性”**——比如都提到了"等待期"这个词。

但Cross-Encoder不一样。它把问题和文档拼在一起，一起进模型分析。

它能判断"答案相关性"，而不只是话题相似性。

图：考试/点菜/相亲三个场景 — Bi-Encoder看表面，Cross-Encoder看内在

Bi-Encoder打分高，但Cross-Encoder打分低

= 这篇文档"看起来相关"，但实际上不能回答用户的问题。这种文档就是噪声，正是Rerank要过滤掉的。

五、最优架构：先快筛再精挑

聪明的做法是两者结合，组成一个流水线：

图：RAG + Rerank 流水线 — Bi-Encoder快速召回20条，Cross-Encoder精选Top3

为什么要这样？

向量检索快，但不够准
Rerank准，但处理全量文档太慢
先快筛再精挑 = 又快又准

六、效果提升有多大？

简单说：加了Rerank，答案质量明显提升。降低了噪音，降低了幻觉。

七、阈值过滤：宁缺毋滥

图：阈值过滤 — 分数低于阈值的直接丢弃，不让大模型误导

Rerank会给每条文档打个分（0到1之间），但即使选出几条，如果分数都很低，说明知识库里可能根本没有相关内容。

重要原则：

宁可告诉用户"找不到"，也不要让大模型瞎编。

八、领域微调：让Rerank更懂你的业务

通用模型在专业领域有时会**“水土不服”**。

比如用户问"轻症赔付比例"，但知识库写的是"轻度恶性肿瘤按基本保额的20%给付"。通用模型可能无法理解"轻症"和"轻度恶性肿瘤"是一个意思。

**解决方案：**用你的专业数据对模型进行微调。

不用太多数据，用你业务场景的几百条问答数据训练一下，效果就会有明显提升。微调后，模型对你的专业术语、表达方式理解得更准确，召回的内容自然更靠谱。

如果你做的是金融或保险相关的RAG系统，可以使用专门的领域微调模型来提升效果。比如StructBERT 金融领域FAQ问答模型，它是专门针对金融场景训练的，在金融数据上的表现比通用模型更好。

使用很简单：

几百条领域数据微调一下，Rerank对你的专业术语理解更精准，效果提升看得见。

总结

记住：

垃圾进去，垃圾出来。

RAG做不好，很可能不是大模型的锅，是前面的召回没做好。

加Rerank，是提升RAG效果最值得的一步。

AI行业迎来前所未有的爆发式增长：从DeepSeek百万年薪招聘AI研究员，到百度、阿里、腾讯等大厂疯狂布局AI Agent，再到国家政策大力扶持数字经济和AI人才培养，所有信号都在告诉我们：AI的黄金十年，真的来了！

在行业火爆之下，AI人才争夺战也日趋白热化，其就业前景一片蓝海！

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

人才缺口巨大

人力资源社会保障部有关报告显示，据测算，当前，****我国人工智能人才缺口超过500万，****供求比例达1∶10。脉脉最新数据也显示：AI新发岗位量较去年初暴增29倍，超1000家AI企业释放7.2万+岗位……

单拿今年的秋招来说，各互联网大厂释放出来的招聘信息中，我们就能感受到AI浪潮，比如百度90%的技术岗都与AI相关！

就业薪资超高

在旺盛的市场需求下，AI岗位不仅招聘量大，薪资待遇更是“一骑绝尘”。企业为抢AI核心人才，薪资给的非常慷慨，过去一年，懂AI的人才普遍涨薪40%+！

脉脉高聘发布的《2025年度人才迁徙报告》显示，在2025年1月-10月的高薪岗位Top20排行中，AI相关岗位占了绝大多数，并且平均薪资月薪都超过6w！

在去年的秋招中，小红书给算法相关岗位的薪资为50k起，字节开出228万元的超高年薪，据《2025年秋季校园招聘白皮书》，AI算法类平均年薪达36.9万，遥遥领先其他行业！

总结来说，当前人工智能岗位需求多，薪资高，前景好。在职场里，选对赛道就能赢在起跑线。抓住AI风口，轻松实现高薪就业！

但现实却是，仍有很多同学不知道如何抓住AI机遇，会遇到很多就业难题，比如：

❌ 技术过时：只会CRUD的开发者，在AI浪潮中沦为“职场裸奔者”；

❌ 薪资停滞：初级岗位内卷到白菜价，传统开发3年经验薪资涨幅不足15%；

❌ 转型无门：想学AI却找不到系统路径，83%自学党中途放弃。

他们的就业难题解决问题的关键在于：不仅要选对赛道，更要跟对老师！

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

​