本文深入探讨了上下文工程在大模型中的重要性，分析了传统RAG的局限性，并详细介绍了Agentic RAG的优化步骤，包括数据质量优化、元数据增强、多模态数据优化、数据库索引优化、搜索质量优化、检索结果评估优化以及上下文工程优化。通过这些方法，可以有效提升大模型的性能，为程序员和小白提供实用的学习指南。

上下文工程失败的原因只有两个：

❶底层LLM能力不够

❷正确的上下文没有传递给LLM

以正确格式为大模型提供正确信息和工具，才是RAG头号工作。

一、传统RAG

Agentic RAG是什么

Agentic RAG定义

RAG + Agents = Agentic RAG

Agentic RAG 是一种基于 AI Agents 的 RAG 实现：

将 AI Agents 整合到 RAG 流程中，协调各组件，执行超越简单信息检索与生成的操作，它将 RAG 从「信息检索增强工具」，彻底升级为 「自主问题解决框架」

关键技术与改进（范式转移：引入 AI Agent），从「数据流」到「推理环」工作流从线性变为智能体主导的循环往复：「思考 - 行动 - 观察 - 循环」

自主工具使用（Autonomous Tool Use）智能体在每一步自主判断并选择最合适工具（搜索、计算、API 调用等）；

二、Agentic Rag优化步骤

• 第一步、数据质量优化：文本切割优化

问题：简单固定长度的分割会割裂语义（比如把一个句子从中间切断）

• 优化：使用更高级的分割策略，递归分割：先按段落 / 标题等大边界分割，再对过长部分进行二次分割，利用模型或算法识别语义连贯的单元。

示例：所有文件转成json 标题-段落-语义切割（Base64解码处理图片）

第二步、元数据增强优化

问题：检索时只依赖纯文本内容，缺乏上下文。

优化：为每个文本块附加丰富的元数据，如：来源文件、章节标题、作者、创建日期、类型等。这些元数据可以用于混合检索或后处理过滤。

第三步、多模态数据优化

问题：输入资料中包含图片、表格和公式，如何实现 Any-To-Any（任意模态间的检索与交互）。

优化：采用 OCR 模型解析多模态内容，保留关键特征，多模态嵌入模型实现多模态向量化。

常用工具 / 模型：

Deepseek.OCR

Dots.OCR

Dolphin

GME-Qwen-VL 等

a.什么是向量数据库（Milvus为例）

b.常规存储样式

c.文字切片存储样式

d.向量数据（此表为1024长度的向量）

第四步、提升数据库索引优化

问题：近似近邻搜索算法繁多，需选择合适算法与度量来加快搜索速度。

优化：选择 AUTOINDEX来匹配最优密集向量索引，同时为文字内容建立倒排索引以提升速度。使用 MaxScore 算法优化 Document-at-a-Time (DAAT) 查询处理；在专业术语较多的场景下，需优先选择 DAAT_MAXSCORE。

为什么要“稀疏+密集”？

向量数据库中不能只有密集向量

也需要稀疏向量[00010000…]需要针对性进行优化（如IP向量度量），一般采用独热编码‌（One-Hot Encoding）得到的都是稀疏向量。

密集向量：将文本转化为固定长度的数组（维度），捕捉的是语义（“轿车”和“奥迪”很近）。但它是不可解释的黑盒，且容易丢失精确关键词。

稀疏向量：向量中绝大部分是 0，只有少数维度有值（代表关键词的权重）。捕捉的是精确词汇（“宝马 X5”和“宝马”匹配）。传统 BM25 算法本质上就是一种稀疏表示。

这会让你的 Agent 在回答“数字化营销具体包含哪些指标？”这种泛化问题时靠语义，在回答“某某系统的指标代码A010-产值达成率是什么？”这种精确问题时靠关键词。

第五步、搜索质量优化

问题：单纯基于语义检索易忽略关键词匹配的重要性。

优化：结合稀疏检索（如 BM25）和稠密检索（嵌入模型）。BM25 对精确关键词匹配更有效，两者结果融合可以取长补短。

重排：初步检索返回的 Top K 个结果中，可能混入一些相关性不高的文档。

Rerank 模型（大模型）：混合检索不是简单的“把两个结果放在一起”，核心难点在于分数归一化和结果融合。

核心算法：RRF

这是目前最主流、最不需要调参的融合算法。它不在乎 BM25 的分数是 100 还是向量相似度是 0.8，它只在乎排名。

逻辑：如果一个文档在向量检索排第 1，在关键词检索也排第 1，它的分数就会爆高。如果只在排第 50，加分就很少。

实现流程图：

第六步、检索结果评估优化

问题：检索返回的TopK个结果中，质量不佳或者最终大模型生产的答案出现幻觉；

优化：结合RAGAS框架，实现多种指标的评估。

关键：浮点数scorer指标定义（评价标准）

第七步、上下文工程优化

核心观点

上下文不应只是“填满窗口”，而应是“推理路径的燃料”。优化的核心在于减少噪声，提高信息密度，并让 Agent 具备自我纠正检索质量的能力。当上下文内容冗长繁杂时，易超出 LLM 上下文窗口，或导致关键信息被淹没；尤其当用户输入问题关联历史聊天记录时，该问题更突出。

查询路由与动态规划

(Query Routing & Dynamic Planning)

不要直接拿用户问题去检索。

策略：在检索前加入一层 Intent Analysis（意图分析）。Agent 判断当前问题是需要实时数据、静态知识库、还是需要代码/工具计算。

提示词技巧：你是一个路由专家，根据用户问题判断应该调用 [知识库搜索]、[网络搜索] 还是 [SQL查询] 工具，只输出工具名和参数。

收益：大幅减少无关文档注入，节省上下文。

ReAct 迭代式检索

(ReAct Iterative Retrieval)

Thought: 用户想知道X，但我目前不知道Y。

Action: Search(query=“Y的具体定义”)

Observation: 搜索结果显示…

Thought: 结合Y的定义，我现在可以回答…

假设性文档嵌入

(Hypothetical Document Embeddings‌)

用户的问题往往语义与向量库不匹配。

策略：让 Agent 在检索前，先“生成”一个完美的假设性答案，以搜代问，然后用这个假设答案去向量库做语义检索。

提示词技巧：请根据用户问题，生成一段包含可能答案的虚构段落。这段话将被用于检索相似的真实文档。

收益：显著提升语义向量的召回率。

上下文压缩与重排

(Context Compression & Reranking)

检索回来的 Top-K文档不等于都是有用的。

Rerank：使用 Cross-Encoder 模型（如BGE-Reranker）对召回文档重打分。

Compress：利用 LLM 提取文档中的核心信息，丢弃废话。

提示词技巧：给定以下检索到的文档和用户问题，请提取出直接回答问题所需的关键信息，忽略无关的修饰语。如果文档没有答案，请输出"无相关信息"。

收益：降低“迷失”，提高 Token 利用率。

反思式自我修正

(Reflective Self-Correction)

检查上下文：

1. 是否包含回答用户问题的所有关键实体？

2. 信息之间是否存在矛盾？

如果任一答案为否，请重新生成一个新的搜索查询来弥补缺口。

示例：

RAG流式输出和反思：

Agentic RAG常用模型：

大模型常用推理框架：

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。


对于想入局大模型、抢占未来10年行业红利的程序员和小白来说，现在正是最好的学习时机：行业缺口大、大厂需求旺、薪资天花板高，只要找准学习方向，稳步提升技能，就能轻松摆脱“低薪困境”，抓住AI时代的职业机遇。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

最后

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、 AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

  

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://mp.weixin.qq.com/s/C8Eqg1SLGfANODzi0zGFwghttps://mp.weixin.qq.com/s/C8Eqg1SLGfANODzi0zGFwg