RAG知识库问答测试：如何判断 AI 是否真的基于文档回答

如果说“AI 生成测试用例”还是一个相对独立的生成任务，那么 RAG 知识库问答，就是现在企业里最常见的一类 AI 应用。

几乎所有接入 AI 的系统，最终都很容易走到这一步：

• 把公司知识库接进来
• 让用户直接提问
• AI 基于文档给出答案
• 还可以附带引用来源

看起来很合理，也很符合业务期待。

但真正进入测试阶段后，你会发现这类功能比普通问答复杂得多。

因为这里测的已经不只是“模型回答得好不好”，而是整条链路：

文档有没有正确上传？
内容有没有正确解析？
检索有没有召回对的片段？
AI 的答案到底是不是基于文档？
没有答案时会不会乱编？
会不会引用错文档？
会不会把无权限内容回答出来？

所以，RAG 知识库测试最核心的问题不是：

AI 有没有给出答案？

而是：

这个答案，到底是不是可信地来自知识库。

这篇文章就专门讲清楚：RAG 知识库问答到底怎么测。

---

一、先明确：什么是 RAG？

先不用把概念搞得太学术。

从测试视角看，RAG 可以简单理解成一句话：

先找资料，再让模型回答。

它的典型链路通常是这样：

用户提问
  ↓
系统理解问题
  ↓
从知识库中检索相关内容
  ↓
把相关内容连同问题一起给大模型
  ↓
大模型基于检索结果生成答案
  ↓
返回答案和引用来源

所以，RAG 和普通聊天问答最大的不同在于：

• 普通聊天更依赖模型自身知识
• RAG 更强调“基于外部知识库回答”

这也意味着，RAG 的测试重点不再只是模型本身，而是：

• 文档
• 解析
• 切片
• 检索
• 排序
• 生成
• 引用
• 权限

一旦链路中某个环节出问题，最终答案就会出问题。

---

二、为什么 RAG 测试比普通 AI 问答更复杂？

因为 RAG 多了一个非常关键的过程：

检索

而检索是最容易“看起来没错，实际有问题”的地方。

比如用户问：

退款规则是什么？

系统可能出现好几种情况。

情况 1：检索到了正确文档片段

这是理想情况。
AI 基于正确内容回答，结果可信。

情况 2：检索到了相近但不准确的片段

比如召回了“订单取消规则”，但不是“退款规则”。
这时 AI 很可能基于错误上下文给出“看起来合理”的回答。

情况 3：根本没检索到相关内容

但模型仍然给出了一段通用知识式回答。
这就是典型的“没依据但还在答”。

情况 4：检索到了用户无权限的文档

这就不只是准确性问题，而是权限和安全问题。

所以 RAG 测试比普通问答复杂，是因为你不仅要测“回答”，还要测：

它为什么这样回答。

---

三、RAG 系统应该怎么拆测试链路？

测试 RAG 功能时，最推荐的方式是按链路拆，而不是只测前端输入输出。

通常可以拆成下面 6 个环节。

文档上传
  ↓
文档解析
  ↓
内容切片
  ↓
检索召回
  ↓
答案生成
  ↓
引用与权限控制

下面分别讲。

---

四、文档上传测试：不是能传上去就行

这是 RAG 测试的第一层，也是最容易被低估的一层。

很多团队会觉得：

文件能上传成功，不就行了吗？

其实不够。

因为上传成功，不代表后面能正确解析、建立索引、参与检索。

所以文档上传测试至少要覆盖这些内容。

1. 文件格式支持

要确认系统支持哪些格式，例如：

• PDF
• DOCX / DOC
• TXT
• Markdown
• XLSX / XLS
• PPTX / PPT
• CSV

测试点包括：

• 支持格式是否都能成功上传
• 不支持格式是否明确提示
• 扩展名伪装文件是否会误接收
• 同一内容不同格式上传后表现是否一致

2. 文件大小限制

测试点包括：

• 小文件是否正常上传
• 接近大小上限时是否正常
• 超过大小限制时是否提示明确
• 大文件上传后是否能正常进入后续流程

例如：

• 1MB
• 5MB
• 10MB
• 20MB
• 超上限文件

3. 文件内容类型

测试点包括：

• 纯文本文件
• 含标题层级文件
• 含表格文件
• 含图片文件
• 图文混排文件
• 长文档
• 多页文档
• 空文件
• 乱码文件

因为不同内容类型，对后面的解析影响很大。

4. 上传后的状态流转

例如：

• 上传中
• 解析中
• 建库中
• 成功
• 失败

要确认：

• 状态是否准确
• 失败是否有提示
• 失败后是否可重试
• 重复上传是否有处理策略

所以文档上传测试的核心，不是“文件传没传上去”，而是：

文件能不能稳定进入知识库链路。

---

五、文档解析测试：RAG 很多问题都死在这里

很多知识库问答效果不好，问题不一定在模型，也不一定在检索，而是在更前面：

文档根本没被正确解析。

这一步非常关键。

1. 文本是否完整提取

重点看：

• 标题有没有丢
• 正文有没有断
• 段落顺序是否正确
• 特殊符号是否乱码
• 多栏排版是否错乱

尤其是 PDF，很容易出现：

• 换行异常
• 段落拼接错位
• 页眉页脚混入正文
• 表格内容拆散

2. 表格解析是否正确

这是企业知识库里非常容易出问题的一类。

测试点包括：

• 表头是否识别正确
• 行列关系是否保持
• 合并单元格是否丢信息
• 数值是否错位
• 表格是否被拆成不可理解的纯文本

因为很多业务规则恰恰写在表格里。
如果表格没解析对，后面问答就很容易偏。

3. 图片和图文混排内容怎么处理

很多文档关键信息不在纯文本里，而在：

• 截图
• 流程图
• 架构图
• 图中说明文字

这类内容要至少确认：

• 系统是否支持提取图片文字
• 不支持时是否有能力说明
• 图文混排时文本顺序是否合理
• 图片说明有没有被遗漏

4. 标题层级和结构是否保留

如果文档结构信息丢了，后面切片和检索都会受影响。

比如：

• 一级标题
• 二级标题
• 小节标题
• 列表项
• 附录内容

这些结构信息对“答案是否能带上下文”非常重要。

所以文档解析测试的核心是：

知识有没有被正确提取出来。

如果这一步错了，后面检索和回答再强也救不回来。

---

六、切片和检索测试：这是 RAG 的核心命门

RAG 的“R”，本质就是 Retrieval，也就是检索。

而检索效果好不好，往往取决于两个关键问题：

1. 文档是怎么被切片的
2. 用户问题能不能召回正确片段

1. 切片测试：内容拆得合不合理

切片不是越小越好，也不是越大越好。

要测的是：

• 规则是否被拆散
• 一个完整语义是否被切断
• 相邻上下文是否还能保留
• 标题和正文是否还在一起
• 表格内容是否被拆坏

典型坏情况包括：

• 规则前半句在一个 chunk，后半句在另一个 chunk
• 标题在上一段，正文在下一段，导致检索只召回正文没有主题
• 表格被切散，问答失真

这类问题用户通常看不见，但答案质量会明显下降。

2. 检索召回测试：能不能找到该找的内容

这是 RAG 测试的重点。

可以围绕这些问题设计：

• 明确问题是否能召回准确片段
• 同义表达是否能召回
• 模糊问题是否能召回相近内容
• 长问题是否会干扰召回
• 多轮问题是否还能对齐原问题

举例：

文档里写的是：

验证码错误超过 5 次后，账号锁定 10 分钟。

测试时可以问：

• 验证码输错几次会锁定？
• 账号锁定规则是什么？
• 登录失败太多次会怎么样？
• 输错验证码多久恢复？

如果只有“原文复读式提问”才能召回，说明检索鲁棒性不足。

3. 排序测试：对的内容是不是排在前面

有时系统不是没检索到，而是：

检索到了，但排得太后面。

结果模型拿到前几条不够相关的上下文，最终还是答偏。

所以还要测：

• 最相关片段是否在前几位
• 相似但错误的内容是否排得过高
• 重复内容是否干扰排序
• 同主题多个文档时，最新或最权威版本是否优先

所以检索测试的核心是：

不是有没有找到，而是有没有优先找到正确内容。

---

七、答案生成测试：怎么判断它是不是“基于文档回答”？

这是用户最关心的一层，也是测试最难的一层。

因为用户最终看到的只有答案，很难直接知道它是“检索来的”，还是“模型自己编的”。

所以答案生成测试要重点看这几类问题。

1. 是否正确引用文档事实

例如文档写：

未注册手机号不可登录，提示“账号不存在”。

如果 AI 回答成：

未注册手机号无法获取验证码，提示“用户未注册”。

虽然看起来意思差不多，但文案和逻辑都可能已经偏了。

2. 是否混入模型自身常识

比如用户问：

公司请假流程是什么？

知识库里其实写得很具体，但 AI 回答里混入了一些通用请假流程模板，而不是公司真实规则。

这就是“看起来合理，但并不基于知识库”。

3. 是否会在无答案时拒答

这是 RAG 测试里非常关键的一项。

例如知识库里根本没有退款规则，但用户问：

退款规则是什么？

理想结果应该是：

当前知识库中未检索到相关内容。

而不是凭通用知识编一段退款逻辑。

无答案场景，往往最能测出系统到底是否真的在“基于文档回答”。

4. 是否回答完整

有时检索到了正确内容，但 AI 总结得不完整。

例如文档里写了 3 条限制，AI 只回答了 1 条。
这时候问题不在检索，而在生成阶段的信息压缩或遗漏。

所以答案生成测试的核心是：

答案既要有依据，也要正确、完整、克制。

---

八、引用溯源测试：不是带个链接就算通过

很多知识库产品会附引用来源，这很好，但测试不能只看“有没有引用”。

还要看：

1. 引用是否真的对应答案内容

例如答案说的是“验证码错误超过 5 次锁定 10 分钟”，引用却指向了“发送频率限制”那一段。
这就是典型的“有引用但引用错”。

2. 引用粒度是否合理

例如：

• 是整篇文档引用
• 还是具体段落引用
• 能不能定位到问题相关位置

如果只能显示文档名，但定位不到具体内容，用户验证成本还是很高。

3. 多引用场景是否合理

有些答案来自多个片段，这时要看：

• 是否同时引用多个来源
• 引用顺序是否合理
• 是否遗漏关键引用

所以溯源测试的核心不是“有链接”，而是：

用户能不能顺着引用真正验证答案。

---

九、权限测试：RAG 最容易被忽略的高风险项

这一点非常重要。

因为知识库一旦接入 AI，如果权限控制没做好，就可能出现最危险的一类问题：

用户问了一个问题，AI 把他无权查看的文档内容答出来了。

这不是体验问题，而是安全问题。

权限测试至少要覆盖：

1. 无权限文档不能被检索到

用户 A 无权访问文档 X，那么围绕文档 X 的问题，不应被正确回答。

2. 混合权限场景下要正确过滤

如果一个问题相关的内容分布在多篇文档中，要确认系统只使用用户有权限查看的内容。

3. 引用来源也不能泄露

即使答案没泄露内容，如果引用里暴露了保密文档标题、链接、路径，也算权限问题。

4. 权限变更后是否及时生效

例如：

• 新增权限后能否正常回答
• 回收权限后是否立即失效
• 缓存是否导致旧权限残留

所以 RAG 测试里，权限不是附加项，而是核心验收项。

---

十、RAG 测试最常见的缺陷类型

结合前面的链路，常见问题通常集中在下面几类。

1. 上传成功但解析失败

用户看起来上传成功了，但文档内容没真正进入知识库。

2. 表格规则解析错误

表格里的关键业务规则被拆坏或错位，导致回答偏差。

3. 检索召回不准

问的是 A，召回的是 B。

4. 没答案还在编

知识库没有相关内容，但模型仍然给出一段“像样答案”。

5. 引用错误

答案对不上引用，或者引用指错段落。

6. 权限泄露

回答或引用里出现无权限信息。

7. 结果不稳定

同一个问题多次提问，回答波动很大，有时基于文档，有时明显自由发挥。

这些问题里，最值得优先盯紧的通常是三类：

无答案乱编、引用错误、权限泄露。

---

十一、RAG 功能测试结论应该怎么写？

RAG 测试最后也不能只写一句：

功能基本可用。

更好的结论应该围绕链路和风险写。

示例测试结论

本轮测试覆盖文档上传、解析、表格识别、问题召回、答案生成、引用溯源、无答案场景及权限隔离等内容。
整体来看，当前版本已具备基础知识库问答能力，能够在多数标准问题下基于文档返回答案，并支持来源引用。

当前主要问题包括：

1. 部分表格型规则解析后内容错位，影响回答准确性；
2. 同义表达问题下召回稳定性不足；
3. 无答案场景下个别问题仍存在自由发挥现象；
4. 多来源回答时引用匹配不够准确；
5. 权限变更后的生效时效仍需进一步验证。

综合评估，当前版本可进入小范围灰度验证，但在“无答案拒答能力”“引用准确性”“权限隔离”三项问题修复前，不建议作为高信任知识库入口全面上线。

这类结论才真正有决策参考价值。

---

十二、小结

RAG 知识库问答怎么测？

可以浓缩成一句话：

不是测它会不会回答，而是测它是不是在正确、完整、可追溯、权限受控的前提下回答。

所以 RAG 测试至少要覆盖这几层：

• 文档能不能正确上传
• 内容能不能正确解析
• 切片是否合理
• 检索是否召回正确片段
• 答案是否真正基于文档
• 无答案时是否拒绝编造
• 引用是否准确可追溯
• 权限是否严格隔离

只有把这些环节串起来测，RAG 测试才算真正测到位。

---

写在最后

很多团队做知识库问答测试时，最容易停留在一个表面问题：

它答得像不像对的？

但对 RAG 来说，更重要的问题其实是：

• 它到底是从哪答出来的？
• 它是不是基于正确文档回答的？
• 没有答案时它会不会编？
• 它的引用能不能自证？
• 它有没有把不该给用户看的内容答出来？

这些问题，才真正决定一个知识库问答系统能不能被信任。

---

下一篇预告

下一篇继续写：

AI Agent 测试入门：从回答问题到执行任务

会重点展开：

• Agent 和普通聊天机器人到底差在哪
• 为什么 Agent 测试比问答测试更复杂
• 工具调用、参数传递、任务拆解分别怎么测
• 高风险操作为什么一定要加确认
• Agent 的测试结论应该怎么写