RAG评估保姆级教程：从指标到工具，大模型进阶必读，建议收藏

大模型玩家

503人浏览 · 2026-03-14 11:22:51

大模型玩家 · 2026-03-14 11:22:51 发布

01 RAG评估

RAG评估是对基于检索增强生成模型（RAG）的性能进行评估和全面分析的过程。也就是去判断RAG的能力怎么样。RAG有检索和生成的两种能力，用于对话系统和问答等任务中。 RAG评估的的目标是看检索相关文档和生成准确、连贯回答这方面的表现。

任何RAG系统的有效性和性能都严重依赖于这两个核心组件：检索器和生成器。检索器必须高效地识别和检索最相关的文档，而生成器应该使用检索到的信息生成连贯、相关和准确的响应。在部署之前，对这些组件进行严格评估对于确保RAG模型的最佳性能和可靠性至关重要。

02 评估指标

1. 检索评估

检索评估的主要目标是评估上下文相关性，即检索到的文档与用户查询的匹配程度。它确保提供给生成组件的上下文是相关和准确的。

1.1 精确度

精确度衡量了检索到的文档的准确性。它是检索到的相关文档数量与检索到的文档总数之比。这意味着精确度评估了系统检索到的文档中有多少实际与用户查询相关。例如，如果检索器检索到了10个文档，其中7个是相关的，那么精确度将是0.7或70%。在可能导致负面后果的情况下，精确度尤为重要。例如，在医学信息检索系统中，高精确度至关重要，因为提供不相关的医学文档可能导致错误信息和潜在的有害结果。

1.2 召回率

召回率衡量了检索到的文档的覆盖率。它是检索到的相关文档数量与数据库中相关文档的总数之比。定义如下：

假设：

知识库中有 10 篇与问题相关的文档。

模型检索到了 7 篇相关文档。

Recall=7/10=0.7

这意味着召回率评估了数据库中存在的相关文档有多少被系统成功检索到。召回率评估的是“数据库中存在的所有相关文档中，系统成功检索到了多少”。在可能错过相关信息会产生成本的情况下，召回率至关重要。例如，在法律信息检索系统中，高召回率至关重要，因为未能检索到相关的法律文件可能导致不完整的案例研究，并可能影响法律诉讼的结果。

1.3 F1分数

F1分数用来平衡精确度和召回率，目标是找到适合特定应用需求的最佳平衡。F1 分数（F1 Score）是 Precision（精确率） 和 Recall（召回率） 的调和平均值，常用于信息检索、分类模型评估以及 RAG 检索效果评估，计算公式如下

F1 范围	性能评价	适用阶段	典型场景
<0.5	需重大优化	模型原型/POC 阶段	初步实验、基线测试
0.5-0.7	基本可用	内部测试/非关键场景	内部工具、非核心功能
0.7-0.85	良好性能	准生产环境	电商推荐、客服问答
0.85-0.93	优秀性能	生产环境关键系统	金融风控、医疗辅助诊断
>0.93	接近理论上限	高精度要求场景	工业质检、法律条款匹配

F1 分数的合适值没有绝对标准，完全取决于业务场景需求、数据特性和错误容忍度。

2. 响应评估

响应评估适用于系统的生成组件。这些评估衡量系统根据检索到的文档提供的上下文有效地生成响应的能力。我们将响应评估分为两种类型：

2.1 忠实度

忠实度是指生成内容与检索到的文档信息之间的一致性程度。具体来说，生成内容应:

基于检索结果: 生成内容应直接或间接引用检索到的文档信息。
不引入矛盾: 生成内容不应与检索结果中的信息相矛盾。
不添加无关信息: 生成内容不应包含与检索结果无关的内容。

2.2 答案相关性

答案相关性是指生成答案与输入问题之间的语义和逻辑关联程度。具体来说，生成答案应:

直接回答问题: 答案应明确回答问题的核心内容。
语义相关: 答案应与问题的语义一致，避免答非所问。
逻辑连贯: 答案应与问题的上下文逻辑一致，避免矛盾或跳跃。

03 评估方法

人工评估

人工评估是RAG评估的基础方法，通过邀请专家或人工评估员对RAG生成的结果进行质量评估。评估标准通常包括准确性、连贯性、相关性等。尽管人工评估能够提供高质量的反馈，但这种方法耗时费力，且受限于评估员的主观性和经验差异。
自动化评估

自动化评估是当前RAG评估的主流和发展方向。通过利用大型语言模型和相关算法，自动化评估工具能够实现对RAG生成文本的质量评分，从而快速评估模型性能。这种方法不仅提高了评估效率，还降低了人力成本。

04 评估工具

目前开源社区已经出现了专业的工具，用户可以使用它们来方便快速进行定量评估。下面我们介绍目前比较常见好用的 RAG 评估工具，以及它们的一些特点。

1. Ragas

Ragas是一个用于评测检索增强生成（RAG）应用的评测框架，它的核心目标是提供一套综合性的评测指标和方法，以量化地评测RAG管道(RAG Pipeline)在不同组件层面上的性能。Ragas特别适用于那些结合了检索（Retrieval）和生成（Generation）两个主要组件的RAG系统，支持Langchain 和 Llama-Index。

为了评估 RAG 系统，RAGAs 需要以下信息:

question：用户输入的问题。

answer：从 RAG 系统生成的答案(由LLM给出)。

contexts：根据用户的问题从外部知识源检索的上下文即与问题相关的文档。

ground/_truths：人类提供的基于问题的真实(正确)答案。这是唯一的需要人类提供的信息。

1.1 评估指标体系

2. Trulens

TruLens是一款旨在评估和改进 LLM 应用的软件工具，它相对独立，可以集成 LangChain 或 LlamaIndex 等 LLM 开发框架。它使用反馈功能来客观地衡量 LLM 应用的质量和效果。这包括分析相关性、适用性和有害性等方面。TruLens 提供程序化反馈，支持 LLM 应用的快速迭代，这比人工反馈更快速、更可扩展。

使用的步骤：

（1）创建LLM应用

（2）将LLM应用与TruLens连接，记录日志并上传

（3）添加 feedback functions到日志中，并评估LLM应用的质量

（4）在TruLens的看板中可视化查看日志、评估结果等

（5）迭代和优化LLM应用，选择最优的版本

2.1 三个评估指标