大模型“记忆“真相:Context & RAG,你真的懂它吗?
大模型真的有"记忆"吗?
答案是:没有。
大模型本质上只是一个数学函数——给它输入,它就给你输出——它并不像人一样真的有记忆。那它是怎么"记住"之前的聊天内容的呢?
答案其实很简单:每次给大模型发送消息时,并不只会发当前的问题,背后的程序会自动把你之前的整段对话历史取出来一起发过去。 这样模型每次看到的就是完整的对话内容,所以才能知道之前发生了什么。
这就像一个"失忆症患者",每次对话前都要重新阅读一遍之前的聊天记录——只不过它读得非常快。
Context:信息的总和
这就引出了 Context(上下文) 的概念。它代表大模型每次处理任务时所接收到的信息总和。包括:
- 用户问题:你当前输入的内容
- 对话历史:之前所有的问答记录
- 大模型正在输出的每一个 Token:也会被追加进来(参见《Token》一文)
- 工具列表等信息:后续《Tool》一文会详细介绍
从某种程度上,我们可以把 Context 看成是大模型的临时记忆体——它不是真的记忆,而是每次都重新"阅读"一遍的临时资料。
Context Window:记忆体的容量上限
那 Context 能有多大?能塞多少 Token?这就引出了 Context Window(上下文窗口) 的概念——它代表 Context 能够容纳的最大 Token 数量。
目前主流大模型的 Context Window 都非常大:
| 模型 | Context Window |
| GPT-4.5 | 约 105 万 Tokens |
| Gemini Pro | 约 100 万 Tokens |
| Claude Opus 4.6 | 约 100 万 Tokens |
按一个 Token 约等于 1.5 个汉字计算(参见《Token》一文),100 万个 Token 差不多就是 150 万个汉字——整个哈利波特全集的内容都能装下。
当 Context Window 不够用时:RAG
虽然 Context Window 已经很大了,但在实际场景中仍然可能不够用——或者更准确地说,即使装得下,也不经济。
举个例子:假如你有一个上千页的公司产品手册,希望大模型根据它来回答用户的各种疑问。把手册的全部内容一起扔给大模型并不是一个好方案——即使模型的 Context Window 撑得下,成本也无法控制(Token 越多,API 费用越高)。
这时就需要 RAG(Retrieval-Augmented Generation,检索增强生成) 技术。它的做法很聪明:
- 用户提出问题
- RAG 系统从产品手册中抽取与用户问题最匹配的几个片段
- 只把这几个片段(而不是整本书)发给大模型
- 大模型基于这几个片段来回答
这样大模型接到的就不是一整本书,可能只是几段话,既不受 Context Window 限制,成本也低很多。
简单来说,RAG 就是"先搜索,再回答"——让大模型只看跟问题相关的内容,而不是所有内容。
小结
| 概念 | 说明 |
| Context | 大模型每次处理任务时接收到的信息总和(临时记忆体) |
| Context Window | Context 能容纳的最大 Token 数量 |
| RAG | 检索增强生成,从海量文档中抽取相关片段给大模型,降低成本 |
理解了 Context,你就知道了大模型的"记忆"是怎么回事,以及它的边界在哪里。在下一篇文章中,我们将学习如何更好地与大模型沟通——Prompt(提示词)。
2026年AI行业最大的机会,毫无疑问就在应用层!
字节跳动已有7个团队全速布局Agent
大模型岗位暴增69%,年薪破百万!
腾讯、京东、百度开放招聘技术岗,80%与AI相关……
如今,超过60%的企业都在推进AI产品落地,而真正能交付项目的 大模型应用开发工程师 **,**却极度稀缺!
落地AI应用绝对不是写几个prompt,调几个API就能搞定的,企业真正需要的,是能搞定这三项核心能力的人:
✅RAG:融入外部信息,修正模型输出,给模型装靠谱大脑
✅Agent智能体:让AI自主干活,通过工具调用(Tools)环境交互,多步推理完成复杂任务。比如做智能客服等等……
✅微调:针对特定任务优化,让模型适配业务
目前,脉脉上有超过1000家企业发布大模型相关岗位,人工智能岗平均月薪7.8w!实习生日薪高达4000!远超其他行业收入水平!
技术的稀缺性,才是你「值钱」的关键!
具备AI能力的程序员,比传统开发高出不止一截!有的人早就转行AI方向,拿到百万年薪!👇🏻👇🏻

AI浪潮,正在重构程序员的核心竞争力!现在入场,仍是最佳时机!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

⭐️从大模型微调到AI Agent智能体搭建
剖析AI技术的应用场景,用实战经验落地AI技术。从GPT到最火的开源模型,让你从容面对AI技术革新!
大模型微调
-
掌握主流大模型(如DeepSeek、Qwen等)的微调技术,针对特定场景优化模型性能。
-
学习如何利用领域数据(如制造、医药、金融等)进行模型定制,提升任务准确性和效率。
RAG应用开发
- 深入理解检索增强生成(Retrieval-Augmented Generation, RAG)技术,构建高效的知识检索与生成系统。
- 应用于垂类场景(如法律文档分析、医疗诊断辅助、金融报告生成等),实现精准信息提取与内容生成。
AI Agent智能体搭建
- 学习如何设计和开发AI Agent,实现多任务协同、自主决策和复杂问题解决。
- 构建垂类场景下的智能助手(如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等)。

如果你也有以下诉求:
快速链接产品/业务团队,参与前沿项目
构建技术壁垒,从竞争者中脱颖而出
避开35岁裁员危险期,顺利拿下高薪岗
迭代技术水平,延长未来20年的新职业发展!
……
那这节课你一定要来听!
因为,留给普通程序员的时间真的不多了!
立即扫码,即可免费预约
「AI技术原理 + 实战应用 + 职业发展」
「大模型应用开发实战公开课」
👇👇

👍🏻还有靠谱的内推机会+直聘权益!!
完课后赠送:大模型应用案例集、AI商业落地白皮书
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)