本文围绕RAG知识库展开，首先介绍了RAG的概念及其在解决大模型知识盲区中的作用。接着，探讨了企业为何需要RAG知识库，特别是在算力有限的情况下，RAG如何帮助企业高效利用内部知识。文章还详细阐述了企业级知识库项目的特点，如文档目录层级设计、多用户权限管理等。最后，提供了实施企业级知识库的具体步骤，包括源文档收集、预处理、分类、解析、分块、知识检索、生成和测评，并强调了业务部门在实施过程中的重要性。经验总结部分指出，知识库的准确性和应用价值是企业成功落地的关键。

一、什么是RAG?

当我们谈及AI大模型应用时，在技术侧都无法避免地会提到RAG知识库、智能体Agent、工作流Workflow、MCP、A2A等等，因为目前这些都是大模型场景化落地所必不可少的工具组件，且大部分场景下是需要以组合的方式出现的。也可以形象地比喻为，若我们是厨师🧑‍🍳，各种AI大模型应用场景是菜肴，那么这些工具组件则是烹饪出美味佳肴所需要的各式厨具。

我们都知道大模型是一个具有强大的通用知识的大脑，且擅长内容的生成，但是当我们在企业内私有化部署一个开源大模型后，却发现它无法正确地回答任何关于企业内部业务、流程、制度等相关的知识，因为这些知识在互联网上是找不到的，所以没有被预训练到这个大模型的脑袋里，因此，它只能回答您它所知道的，对于不知道的，要么回答不出来，要么基于已有知识进行胡乱的编造（大模型幻觉）。那么如何能够在不通过预训练的方式下，让大模型准确地回答出企业内部的知识，就是RAG技术研究的本质。

RAG的全称是Retrieval-Augmented Generation，即检索增强生成。对于该概念的理解可以拆分成这2个部分来看，一个是“检索（Retrieval）”，另一个是“增强生成（Augmented Generation）”。“检索”可以理解为给大模型外挂了一个知识大脑，当用户问题超出大模型已有知识范围时，可通过“自主检索”外挂知识大脑的方式来弥补知识空白。那么检索到知识后，最终还是要基于用户的问题来完成回复内容的组织，这一环节可以理解为“增强生成”，即通过检索到和用户问题相关的知识来增强了大模型的生成能力，从而有效避免其“幻觉”的产生。

对于RAG知识库的构建一般分为2个部分：知识构建和知识检索生成，具体如下图所示：

• 知识构建

  

• 知识检索生成

但是在实际的落地中，往往会因为所处理的文档的类型、结构以及内容的复杂性导致知识库检索的准确率偏低，业务应用体验差等。这需要结合具体场景从文档预处理、文档解析、文档切块以及文档召回策略、答案生成等多个环节做更多细节的处理和优化。

二、在企业内部为什么需要RAG知识库？

目前业界有一种说法是，对于企业侧落地AI大模型应用的基础是数据和知识工程，即企业内部高质量的数据、文件、逻辑以及术语知识，决定了大模型应用的准确率。那么，企业内部如何高效地利用起来这些数据文件等知识，一方面是通过“预训练”或者微调的方式将这些内部知识“喂给”大模型，让大模型永久记住；另一方面是通过“外挂知识库”（RAG）的方式，让大模型在需要的时候进行知识的检索。

对于这两种技术路径的选择，企业考量的首要因素都是算力是否足够，有足够算力的企业可以考虑路径一，但对于没有足够算力预算的企业会优先选择路径二。另一个让企业选择RAG路径的原因是，当前AI大模型技术的发展还处于不确定期，模型能力更新迭代速度快，当企业耗费大量的算力、物力和人力训练出一个效果较好的大模型时，却发现市场上已经开源了一个更厉害的大模型。且做大模型训练、微调等工作还需要专业的技术团队来支撑，对于该类人才的储备也是企业考量的成本投入之一。

总之，对于没有足够的算力预算且需要在企业内部快速落地AI场景应用的企业来说，RAG知识库是一个不错的选择。

三、企业级知识库项目的特点

相较于个人知识库来说，企业级知识库的建设除了要求更精准、高效的检索外，还会涉及到：

• 文档的目录层级设计
• 多用户的使用方式（如统一单点登录）
• 知识使用权限管控（如某些知识库回复的内容不可复制、下载等）
• 文档版本的自动化更新与下线等

这些都是需要在企业级知识库构建前期通过调研等方式确认清楚的。

四、如何实施

企业级知识库如何实施，将从以下2个方面展开来说：

4.1 企业级知识库实施步骤

---

1）源文档收集与整理

对于企业内部知识库的构建，首先需要考虑收集和整理知识文档，主要包括文档类型（如Word/Pdf/Excel等）、文档的目录结构以及层级设置、文档标签、业务术语/同义词/行业黑话、文档中的附件等的收集整理，具体如下：

• **文档类型：**优先推荐使用原始的Word文档，且需要确认该文档内关于标题的层级、正文内容的格式是否标准（这会影响文档的解析效果），若标题层级格式缺失，需要进行预处理；
• 文档目录结构以及层级设置：确定并梳理知识文档存储的目录结构以及层级等；
• 文档标签：对于需要放入知识库的文档需确认其是否有固定的业务标签，如有，则在收集源文档的时候需要同步收集并整理该标签；
• 业务术语/同义词/行业黑话等：源文档知识的检索应用若涉及到业务专业术语/同义词/行业黑话等，如“协同管理平台”的同义词是“pw平台”，则需要收集整理，这些内容的增加将辅助提升大模型对于用户问题的术语/黑话的精准理解，以提升检索生成准确率；
• 文档附件：若所收集的源文档中包含有附件，且需要对附件进行预览和下载，需单独收集整理该附件做单独处理；若不需要下载使用，则可在文档预处理环节将附件内容统一删除，减少知识检索的噪声。

2）文档预处理

指在文档上传知识库之前做的文档预处理工作，预处理工作的准则是，能系统化的步骤则系统化，不能系统化的步骤按照SOP人工处理之后，需要达到入知识库的标准，不满足标准的文档不允许入库，以保障知识库的整体质量。

3）知识库的分类

需要结合实际场景中文档的数量以及内容来判断到底是构建一个大而全的知识库还是多个小而专的知识库，会有更好的准确率。

4）文档解析

需要根据不同的源文档类型（结构化文档、半结构化文档以及非结构化文档）来构建动态解析策略，一般可优先采用对应类型文档的通用解析策略，针对通用解析策略无法解决的部分再采取定制化的解析方法。

5）文档分块

文档分块策略有很多，但目前落地应用效果比较好的还是采用层级结构分块，这种分块策略在保留一定的检索精度的同时，更注重检索结果的逻辑性、上下文完整性。

策略类型	特点	适用场景
固定长度切块	快速，易于控制Token消耗	对于表格/规章类结构规整的内容适用
语义切块 (按标题/换行/句义)	能够更好地保留上下文的完整性	FAQ/文档类/多轮内容
层级切块 (例如：标题->段落->列表)	支持多粒度检索，灵活性高	教程、指南等结构复杂的文档

6）知识检索

检索策略的设计是RAG检索效果的「分水岭」，检索策略决定了：能不能召回对的 chunk、召回后需不需要排序、过滤以及多轮对话时上下文应该如何组织。

7）知识生成

在检索到正确的“上下文片段后”，知识生成的核心环节是提示词Prompt框架的设计，好的提示词框架可以进一步提升知识库的应用准确率和用户体验。我们在实践中通过测试总结出了一套针对企业内规章制度以及管理标准适用的提示词框架，在此基础上大大的提升了知识问答的准确率，该框架我们命名为：CO-2W2H1R提示词框架，具体如下图所示：

在右边的示例中，可以看到大模型会严格遵循该框架的分析步骤一步步执行，包括：

• 上下文确认：在提示词中必须强调大模型需要根据用户所提供的上下文/参考资料（即所构建的知识库内容）来回答用户的问题，若有提供上下文，则进一步分析问题，否则拒绝回答，通过此方式可有效避免大模型的幻觉；

• 目标角色与核心任务：大模型作为具有丰富的通用知识的工具，可以利用它来完成不同角色和类型的任务，需要清晰定义其在针对企业内部知识问答场景下的角色和目标；

• 问题理解(What)：让大模型深度理解用户的问题，主要目的是针对所构建的知识库内容，让大模型主动思考并理解该问题所属的业务领域知识、识别核心对象、识别动作意图以及是否包含隐藏信息等；

• **内容匹配与特征结构(Where&How)：**让大模型基于对用户问题的理解后，进一步去检索和定位该问题所对应的具体的核心制度以及关键特征分类是什么；

• 精准检索(How to Find)：该步骤是为了让大模型思考如何检索和特别关注的内容，主要包括核心文档锁定、动态关键词生成以及检索目标。

  * **核心文档锁定**：在**上述步骤3确定的核心制度**内检索；

  * **动态关键词生成**：基于**问题对象、动作意图、分类结果**生成关键词；

  * **检索目标**：查找描述**该类对象/行为在特定分类下**的具体条款（例：查找“正式员工申请国内差旅费报销流程”）

• 整理回复(Response)：让大模型按照用户要求输出固定的格式和回复结构，在该部分内容中可为大模型提供回复示例参考等，包括知识整合与验证，答案组织与输出等。

  框架应用建议：对于不同场景的提示词设计可基于以上框架进行扩展，如框架必须包含以上6部分内容，但具体设计时每个部分如何撰写，可先将自己的想法、要求和担心通过文字清晰准确地描述给大语言模型（如deepseek或者豆包），让大模型根据您的要求先替您生成一份初版本的提示词后，再通过反复测试后，逐步修改完善。

8）知识测评

在落地场景中对于知识库的测试是十分有必要的，我们采取的测试方式是：

• 技术侧测试，通过自动化构建问答对后，人工核每个问题的准确率和召回率；
• 业务侧测试，在技术侧测试至少达到如90%以上的准确率后，再启动业务侧测试。

最后，基于业务测试的效果以及反馈进行知识库的优化，包括文档解析、召回、提示词等的优化。

4.2 企业级知识库成功落地的保障

---

对于在企业内AI应用场景的落地，还是以解决实际业务问题或者提升业务人员工作效率的场景为首选。项目的实施一定要拉上业务部门参与，最好能够深度参与前期的需求分析（重点是调研他们是如何使用知识库以及对知识库检索回复效果的期望）、术语/同义词/黑话/测试问题的梳理以及后期的上线测试、反馈等。业务人员的使用效果反馈是AI团队优化场景的最重要的抓手。对于知识库的落地也不例外，能保障有效果的实施团队应该由以下三方组成：

五、经验总结

• 对于企业来说，知识库是很多业务场景应用的基础能力；
• 把知识库构建起来很容易，把知识库做准很有挑战；
• 在知识库检索准的前提下，如何发挥出知识库的应用价值是关键，比如构建了某设计院的技术参数知识库，大家单独去做技术参数问答的不多，但当把这个知识库挂载到设计人员日常撰写设计文档的流程中，可借助知识库自动审核和纠错文档中的设计参数时，业务人员很爱使用，觉得它的价值很高，直接提升了设计人员的文档的合格率。

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。


对于想入局大模型、抢占未来10年行业红利的程序员和小白来说，现在正是最好的学习时机：行业缺口大、大厂需求旺、薪资天花板高，只要找准学习方向，稳步提升技能，就能轻松摆脱“低薪困境”，抓住AI时代的职业机遇。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、 AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

  

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】