本文详细介绍了RAG（检索增强生成）技术，作为解决大模型知识茧房问题的主流方案。通过构建知识库（图书馆）并利用Embedding模型进行信息检索，RAG使LLM在回答问题时能够结合外部准确信息，避免凭空捏造。文章深入剖析了知识库构建（格式统一、文本分割、向量化）、查资料过程以及影响RAG效果的关键环节（文本分割质量、Embedding模型匹配度、LLM生成能力），并指出了RAG的适用场景和局限性。核心在于通过检索保障知识准确性，由LLM负责语言表达，评估时需关注整个链路各环节的优化。

---

上篇说了大模型的知识茧房——训练数据之外它会胡编。RAG是目前最主流的破解方案：不改模型，而是在回答之前先去知识库里把相关信息捞出来，跟问题一起喂给LLM。LLM从万事通变成了带参考资料的答题者。

上篇我们搞清了一件事：LLM的知识边界就是训练数据的边界。超出这个边界它不会说不知道，而是硬编。解决方案不是训练更大的模型，而是给它接上外部知识来源。

RAG就是做这件事的。全称 Retrieval-Augmented Generation，检索增强生成。名字挺唬人，拆开看其实就两步：先搜，再答。

考试时旁边多了个图书馆

最直观的理解方式：想象你在考试，但旁边放了一个图书馆。遇到不会的题，可以先去图书馆查相关资料，带着资料回来答题。你的角色不再是靠记忆答题，而是靠检索信息+组织语言来答题。

LLM在RAG系统里的角色就是这个考生。它不需要什么都记住，但它需要两个能力：根据查到的资料准确作答的能力和把多条信息整合成流畅回答的能力。 这恰好是LLM最擅长的事。

图书馆怎么建

先说知识库（图书馆）是怎么建出来的。

企业的原始知识通常散落在各种PDF、Word文档、网页、数据库里。要把这些变成LLM可以使用的知识库，核心步骤是一条流水线。

格式统一——先把各种格式的文件都转成纯文本。PDF里可能有图片和表格，这一步本身就充满挑战。很多团队卡在第一步就是因为原始文档太杂。

文本分割——长文档切成小段。一篇几千字的产品手册不能整篇塞给LLM，需要切成几百字的小块，每块包含一个相对完整的信息片段。切得太粗信息混杂，切得太细上下文丢失。文本分割是整条链路中最影响最终效果但最容易被忽视的环节。

向量化——上篇讲的Embedding派上用场了。每个文本小块通过Embedding模型转成一个向量，存进向量数据库。到这里，知识库就建好了。

查资料的过程

用户问了一个问题。系统先把这个问题也通过同一个Embedding模型转成向量，然后到向量数据库里做相似度检索——找到跟问题向量最接近的几条文本块。

这几条文本块就是从图书馆里查出来的参考资料。

然后系统把用户的问题和这些参考资料一起塞进一个Prompt模板：已知信息是XXX，请根据这些已知信息回答以下问题，如果信息不足请说无法回答，禁止编造。

LLM拿到这个Prompt，有了参考资料做支撑，回答的准确度就会大幅提升。

有人做过一个直观的对比实验：同一个LLM（ChatGLM），不接知识库的时候问阿里云数据库的产品信息，回答错误百出。接上知识库之后，哪怕只灌入一篇产品文档，回答就变得精准且专业。模型没变，变的是输入。

效果好不好，关键在三个环节

RAG系统的整体效果取决于一条链路上的每个环节，而不只是LLM本身。很多时候效果不好，不是大模型不行，是上游出了问题。

文本分割质量。 切得不好，相关信息被切断或者噪声混入，检索出来的内容就不对，LLM拿到错误的参考资料自然答不好。

Embedding模型的匹配度。 上篇说过，Embedding模型跟训练领域强相关。用户问的问题和知识库里的答案，经过Embedding之后如果向量不相近，检索就失灵。这是实际应用中最普遍的痛点。

LLM本身的能力。 在前两步都OK的情况下，LLM的摘要、推理和语言组织能力决定了最终回答的质量。但如果前两步就拉胯了，换再强的LLM也救不回来。

我跟做知识库产品的人聊得越多越确信一件事：RAG系统的瓶颈很少在大模型上，绝大多数都在数据处理和Embedding这两步。 但大家的注意力和预算往往都花在选哪个大模型上。这是典型的盯着最亮的灯看，忽略了真正坏掉的水管。

RAG不是万能的

坦诚说几个RAG目前搞不定或者很难搞好的场景。

用户的问题可能需要跨多个文档甚至多个系统才能回答。比如一个问题的答案散落在三份不同的PDF和一个数据库表里，单靠向量检索很难把碎片拼完整。

有些问题的答案压根不存在于文档中——它需要推理、计算或者调用外部系统。比如用户问最近一个月的销售趋势，这需要查数据库做计算，知识库里放的静态文档帮不上忙。

RAG最适合的场景是：答案确实存在于已有文档中，用户的问法跟文档的表述足够接近，Embedding能把两者关联起来。 超出这个范围，就需要更复杂的方案了——比如下一篇要讲的MCP。

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

最后

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、 AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

  

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】