收藏必备!小白程序员必看:一文读懂AI Agent如何从简单反射进化到自主学习
本文深入解析了AI Agent的核心架构,即规划、记忆、执行与工具使用四大能力,并解释了LLM(大模型)如何作为AI Agent的“大脑”提供推理、规划等核心能力。文章通过经典案例“AI虚拟小镇”展示了Agent在复杂社交场景中的潜力,并详细介绍了思维链、思维树、ReAct、Reflexion等技术如何助力AI Agent实现自主学习和决策。此外,还探讨了向量数据库在长期记忆中的作用,以及外部工具如何扩展AI Agent的行动空间。对于想要了解AI Agent如何运作及其潜力的读者来说,本文提供了全面的解析和实用的案例。

经典案例:AI 虚拟小镇

在斯坦福大学的研究中,一个名为"Smallville"的虚拟小镇展示了 Agent 的强大能力。这个小镇由25 名 AI 角色组成,包括咖啡店长伊莎贝拉、她的闺蜜玛利亚、暗恋对象克劳斯,以及对政治感兴趣的汤姆等。 这些 AI 角色之间的互动、对话和事件都是通过 AI 自主生成的,小镇已经井井有条地运转了数天。这个实验证明了 Agent 系统在复杂社交场景中的潜力。
1、Agent架构之规划能力设计****
大模型具备逻辑推理能力,Agent 可以将 LLM 的逻辑推理能力激发出来。通常情况下,一项复杂的任务往往涉及许多步骤。AI Agent需要首先拆解这些步骤,并提前做好计划。任务的分解的环节可以由三种方式完成:
- 在大模型输入简单的提示,比如“XYZ的步骤”,或者“实现XYZ的子目标是什么?”;
- 使用特定任务的指令,比如在需要写小说的时候要求大模型“写一个故事大纲”;
- 通过人工提供信息。当下普遍的技术模式包括思维链和思维树:
1. 思维链(Chain of Thoughts)
思维链已成为一种标准的提示技术,用于提高模型在复杂任务中的表现。模型被要求"一步一步地思考",将艰巨的任务分解为更小更简单的步骤。
问:罗杰有5个网球,他又买了两盒网球,每盒有3个网球。他现在有多少网球?答:答案是11问:食堂有23个苹果,如果他们用掉20个后又买了6个。他们现在有多少个苹果?模型输出:答:答案是27
可以看到模型无法做出正确的回答。但如果说,我们给模型一些关于解题的思路,就像我们数学考试,都会把解题过程写出来再最终得出答案,不然无法得分。CoT 做的就是这件事,示例如下:CoT Prompting,模型输入:
问:罗杰有5个网球,他又买了两盒网球,每盒有3个网球。他现在有多少网球?答:罗杰一开始有5个网球,2盒3个网球,一共就是2*3=6个网球,5+6=11。答案是11.问:食堂有23个苹果,如果他们用掉20个后又买了6个。他们现在有多少个苹果?模型输出:答:食堂原来有23个苹果,他们用掉20个,所以还有23-20=3个。他们又买了6个,所以现在有6+3=9。答案是9
可以看到,类似的算术题,思维链提示会在给出答案之前,还会自动给出推理步骤。思维链提示,就是把一个多步骤推理问题,分解成很多个中间步骤,分配给更多的计算量,生成更多的 token,再把这些答案拼接在一起进行求解。
2. 思维树(Tree of Thoughts)
思维树通过在任务的每一步探索多种推理可能性来扩展思维链。它首先将问题分解为多个思考步骤,并在每个步骤中生成多个想法,从而创建一个树状结构。搜索过程可以是 BFS(广度优先搜索)或 DFS(深度优先搜索)。 ToT 做 4 件事:思想分解、思想生成器、状态评估器和搜索算法。
思维树(Tree of Thoughts)通过在任务的每一步探索多种推理可能性来扩展思维链。它首先将问题分解为多个思考步骤,并在每个步骤中生成多个想法,从而创建一个树状结构。搜索过程可以是 BFS(广度优先搜索)或 DFS(深度优先搜索)。ToT 做 4 件事:思想分解、思想生成器、状态评估器和搜索算法。ToT Prompt 的例子如下:
假设三位不同的专家来回答这个问题。所有专家都写下他们思考这个问题的第一个步骤,然后与大家分享。然后,所有专家都写下他们思考的下一个步骤并分享。以此类推,直到所有专家写完他们思考的所有步骤。只要大家发现有专家的步骤出错了,就让这位专家离开。请问...复制
另一方面,试错和纠错在现实世界的任务决策中是不可避免且至关重要的步骤。自我反思帮助 AI Agent 完善过去的行动决策、纠正以前的错误、从而不断改进。当下的技术包括 ReAct、Reflexion、后见链(Chain of Hindsight)等
3. ReAct:推理 + 行动
ReAct 将任务中单独的行为和语言空间组合在一起,从而使大模型的推理和行动融为一体。该模式帮助大模型与环境互动(例如使用维基百科搜索 API),并以自然语言留下推理的痕迹。
**经典案例:**回答"除了 Apple 遥控器,还有什么其他设备可以控制相关软件?"
传统方法直接问 LLM 得到错误答案"iPod",但使用 ReAct 方法后,LLM Agent 通过4 次搜索和推理,最终找到正确答案:键盘功能键。

4. Reflexion:自我反思
Reflexion 是一个让 AI Agent 具备动态记忆和自我反思能力以提高推理能力的框架。每次行动后,AI Agent 都会计算一个启发式函数,并根据自我反思的结果决定是否重置环境以开始新的试验。

2、Agent架构之记忆能力设计
记忆模块负责存储信息,包括过去的交互、学习到的知识,甚至是临时的任务信息。对于一个智能体来说,有效的记忆机制能够保障它在面对新的或复杂的情况时,调用以往的经验和知识。

向量数据库:长期记忆的核心
为了解决有限记忆时间的限制,通常会用到外部存储器。常见的做法是将信息的嵌入表示保存到可支持快速的最大内积搜索(MIPS)的向量存储数据库中。
向量数据库的优势:
- 存储成本比存到神经网络的成本要低2 到 4 个数量级
- 利用 Embedding 技术将非结构化数据转化为向量,实现快速检索
- 支持模糊匹配检索,针对相似的问题找出近似匹配的结果
3、Agent架构之工具能力设计
懂得使用工具是人类最显著和最独特的地方,同样地,也可以为大模型配备外部工具来让模型完成原本无法完成的工作。 工具使用是其手脚,通过精准调用外部 API 与环境交互,打破了模型仅能预测文本的局限,使其具备了联网、计算和操作软件的实战能力;


4、Agent架构之执行能力设计
行动模块负责将代理的决策转化为具体的结果。该模块位于最下游位置,直接与环境交互。行动模块受到角色、记忆和规划模块的影响。执行是其闭环,将前三者的输入转化为最终交付的动作或结果,并在错误中不断迭代。

行动目标
- **任务完成:**代理的行动旨在完成特定任务(如 Voyager 和 ChatDev)
- **沟通:**代理的行动旨在与其他代理或真实人类沟通
- **环境探索:**代理的行动旨在探索不熟悉的环境
行动生成方式
- **通过记忆回忆行动:**行动是根据当前任务从代理记忆中提取信息生成的
- **通过计划跟随行动:**代理按照其预先生成的计划采取行动
行动空间
- **外部工具:**利用外部 API、数据库和外部模型扩展行动空间
- **内部知识:**依赖 LLMs 的内部知识指导行动
最后
对于正在迷茫择业、想转行提升,或是刚入门的程序员、编程小白来说,有一个问题几乎人人都在问:未来10年,什么领域的职业发展潜力最大?
答案只有一个:人工智能(尤其是大模型方向)
当下,人工智能行业正处于爆发式增长期,其中大模型相关岗位更是供不应求,薪资待遇直接拉满——字节跳动作为AI领域的头部玩家,给硕士毕业的优质AI人才(含大模型相关方向)开出的月基础工资高达5万—6万元;即便是非“人才计划”的普通应聘者,月基础工资也能稳定在4万元左右。
再看阿里、腾讯两大互联网大厂,非“人才计划”的AI相关岗位应聘者,月基础工资也约有3万元,远超其他行业同资历岗位的薪资水平,对于程序员、小白来说,无疑是绝佳的转型和提升赛道。

对于想入局大模型、抢占未来10年行业红利的程序员和小白来说,现在正是最好的学习时机:行业缺口大、大厂需求旺、薪资天花板高,只要找准学习方向,稳步提升技能,就能轻松摆脱“低薪困境”,抓住AI时代的职业机遇。
如果你还不知道从何开始,我自己整理一套全网最全最细的大模型零基础教程,我也是一路自学走过来的,很清楚小白前期学习的痛楚,你要是没有方向还没有好的资源,根本学不到东西!
下面是我整理的大模型学习资源,希望能帮到你。

👇👇扫码免费领取全部内容👇👇

最后
1、大模型学习路线

2、从0到进阶大模型学习视频教程
从入门到进阶这里都有,跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf(书面上的技术书籍确实太多了,这些是我精选出来的,还有很多不在图里)

4、 AI大模型最新行业报告
2026最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享(107 道)】

【AI 大模型面试真题(102 道)】

【LLMs 面试真题(97 道)】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划(共90天,可落地执行)
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
-
硬件选型
-
带你了解全球大模型
-
使用国产大模型服务
-
搭建 OpenAI 代理
-
热身:基于阿里云 PAI 部署 Stable Diffusion
-
在本地计算机运行大模型
-
大模型的私有化部署
-
基于 vLLM 部署大模型
-
案例:如何优雅地在阿里云私有部署开源大模型
-
部署一套开源 LLM 项目
-
内容安全
-
互联网信息服务算法备案
-
…
👇👇扫码免费领取全部内容👇👇

3、这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)