大模型很强,能知道牛顿,但是他不知道你是谁,也不知道一些非公开的信息。

带着众人的期待,RAG应运而生。它有效弥补了大模型仅凭记忆作答的短板,缓解了在面对未知问题时容易“编造”内容、产生“幻觉”的困境。

这也是目前包括智能体应用也都在使用的技术。

在这里插入图片描述

01 RAG是什么?

一句话定义:

检索增强生成(Retrieval-Augmented Generation,RAG)是一种结合检索和生成技术的模型。它通过引用外部知识库的信息来生成答案或内容,具有较强的可解释性和定制能力,适用于问答系统、文档生成、智能助手等多个自然语言处理任务中。

内容来自百度百科词条

RAG = 检索(Retrieval)+ 增强(Augmented)+ 生成(Generation)

通俗点说:让大模型在回答用户问题之前,先去你的知识库里“查资料”,然后根据查到的“真凭实据”来组织答案,给大模型的提示词示例:

你是一个专业的问答机器人。
请仅基于以下提供的上下文片段来回答问题。如果上下文无法回答问题,请回答“无法从现有资料中找到答案”。
### 上下文开始 ###
{这里放置检索到的文本块}
### 上下文结束 ###
用户的问题是:{这里放置用户输入}
请生成专业、准确、且基于上下文的回答:

02 RAG完整流程

RAG的完整流程可以分成4个阶段:文档准备阶段、索引阶段、检索阶段、生成阶段

1.文档准备阶段

这是RAG的起点,也可看成文档预处理阶段,这也是最容易被忽视却最重要的一步,文档质量直接决定检索效果。

流程拆解:

文档收集 → 格式转换 → 清洗去噪 → 元数据提取

每一步在做什么:

步骤 理解
文档收集 把各个地方的文档文件整理在一起
格式转换 把PDF、Word、Excel、图片统一转成可处理的文本
清洗去噪 去掉页眉页脚、广告、无关标记
元数据提取 给文档打标签:文档属性、作者、部门、日期、版本、权限

2.索引阶段

这一阶段主要是要构建可检索的知识库。

流程拆解:

清洗后的文档 → 文本分割 → 向量化 → 存入向量数据库

往往在实际中需要进行召回率测试:针对一批标准问题,看哪种分割方式能让检索器找到包含答案的正确块。

文本分割的有下面几类常用的方法,同时也要注意RAG实践中往往不是只用一种,而是多种组合:

方法论 解释
固定大小 按固定的字符数或Token数硬性切割,常配合重叠窗口使用(如块大小500,重叠50),防止关键信息被切断
递归分割 按优先级顺序尝试不同的分隔符(如:先按段落\n\n,再按句子\n,最后按空格或字符)进行分割,直到块大小符合要求
父子分割 检索时用小的子块匹配,提交上下文时用大的父块,以期兼顾精确度与上下文丰富度
语义分割 利用嵌入模型计算句子间的语义相似度,将相似度高的连续句子聚合为一个块,在语义转折处切分
文档结构分割 利用文档的固有结构(如Markdown的标题层级#、HTML标签、PDF的章节)作为分割边界
模型智能分割 直接提示大语言模型根据语义完整性来生成分割块,或让Agent动态决定如何分块以完成特定任务

向量化是把把文本片段转换成数学向量的过程,比如,“苹果”这个词,被向量化后,可能会变成一个像这样的数学向量:

“苹果”→ [0.8, 0.1, 0.9, 0.3, …]

常用的向量(Embedding)模型:Qwen3-Embedding、bge-m3

常用的向量数据库:Milvus、Qdrant、Weaviate、Elasticsearch、FAISS、Chroma

3.检索阶段

检索阶段的核心目标是在召回率(Recall) 和精准度(Precision) 之间取得平衡。召回率不足可能导致漏掉正确答案,而精准度不够则可能返回错误答案。

从用户提出问题到获得最相关的知识片段,通常经历以下关键步骤:

每一步在做什么:

步骤 理解
查询处理+检索路由决策 对用户查询进行预处理,并决定采用哪种检索策略:纯向量检索、纯关键词检索还是混合检索
纯向量检索 将用户问题向量化,用同一个Embedding模型转换成向量,在向量数据库中计算与所有文档片段的相似度(如余弦相似度)
纯关键词检索 使用BM25等算法进行关键词匹配检索,适合精确词匹配场景
混合检索 向量检索 + 关键词检索双路并行,结果合并去重,兼顾语义理解与词法匹配
结果融合与重排序(Rerank) 用交叉编码器对初筛结果重新排序,把最相关的往前排

重排序(Rerank)原理图:

来自Dify官网,详见:https://docs.dify.ai

4.生成(Generation)阶段

流程拆解:

(用户问题 + 检索到的片段)→ 组装Prompt → 调用大模型 → 生成答案 → 后处理

每一步在做什么:

步骤 理解
组装Prompt 把问题和检索到的资料按提示词模板组织成提示词
调用大模型 把Prompt发给LLM
生成答案 模型基于资料生成回答
后处理 检查格式、加引用标注、过滤敏感词

最后,了解下目前RAG的应用场景:

场景 举例
企业服务 企业知识管理、员工自助服务、新员工培训
公共/政务 政务咨询与服务、政策解读与推送
金融 智能投研分析、合规风控咨询、智能客服、呼叫中心质检
医疗 临床决策支持、辅助疾病诊断、药物管理与研究
法律 合同审查、法律咨询、案例检索与法规匹配
其他 智能车载助手、教育学习、体育训练分析等

RAG不是什么黑科技,它只是一种设计思想:让大模型在回答前先查资料。

普通人如何抓住AI大模型的风口?

领取方式在文末

为什么要学习大模型?

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

目前,开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景,其中,应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展,相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业:
在这里插入图片描述

人工智能大潮已来,不加入就可能被淘汰。如果你是技术人,尤其是互联网从业者,现在就开始学习AI大模型技术,真的是给你的人生一个重要建议!

最后

只要你真心想学习AI大模型技术,这份精心整理的学习资料我愿意无偿分享给你,但是想学技术去乱搞的人别来找我!

在当前这个人工智能高速发展的时代,AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长,真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料,能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

【附赠一节免费的直播讲座,技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等,欢迎大家~】
在这里插入图片描述

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来,我们不断打磨课程体系与技术内容,在细节上精益求精,同时在技术层面也新增了许多前沿且实用的内容,力求为大家带来更系统、更实战、更落地的大模型学习体验。

图片

希望这份系统、实用的大模型学习路径,能够帮助你从零入门,进阶到实战,真正掌握AI时代的核心技能!

01 教学内容

在这里插入图片描述

  • 从零到精通完整闭环:【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块,内容比传统教材更贴近企业实战!

  • 大量真实项目案例: 带你亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

02适学人群

应届毕业生‌: 无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌: 非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈: 传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

image.png

vx扫描下方二维码即可
【附赠一节免费的直播讲座,技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等,欢迎大家~】
在这里插入图片描述

本教程比较珍贵,仅限大家自行学习,不要传播!更严禁商用!

03 入门到进阶学习路线图

大模型学习路线图,整体分为5个大的阶段:
图片

04 视频和书籍PDF合集

图片

从0到掌握主流大模型技术视频教程(涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向)

图片

新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路(不吹牛,真有用)
图片

05 行业报告+白皮书合集

收集70+报告与白皮书,了解行业最新动态!
图片

06 90+份面试题/经验

AI大模型岗位面试经验总结(谁学技术不是为了赚$呢,找个好的岗位很重要)图片
在这里插入图片描述

07 deepseek部署包+技巧大全

在这里插入图片描述

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

【附赠一节免费的直播讲座,技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等,欢迎大家~】
在这里插入图片描述

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐