让大模型拥有"一生"的记忆，不再是梦想

金鱼的记忆只有7秒，大模型也是

你知道吗？金鱼的记忆只有7秒。7秒前的事，它全忘了。

现在的 AI 大模型，其实也差不多——只不过它的"7秒"大概是 128K 到 1M 个 token（几千到几万字）。超过这个长度，它就会"失忆"，开始胡言乱语。

想象一下，你和 ChatGPT 聊了一整天的项目方案，晚上再问它早上聊了什么，它一脸茫然：“我们有聊过吗？”

这就是业界说的"金鱼记忆"困境。

更尴尬的是，人类的记忆容量大约是数亿 token（一生积累的信息量）。想让 AI 拥有像人一样的长期记忆？按现在的技术，成本能把你吓到。

但刚刚，盛大集团旗下的 EverMind 团队联合北京大学发布了一个狠活——MSA（Memory Sparse Attention，记忆稀疏注意力），直接把大模型的记忆天花板捅到了1亿 token。

而且，只需2张 A800 显卡就能跑。

MSA 让 4B 参数小模型在长文本任务上超越 235B 大模型

先搞懂问题：为什么长上下文这么难？

在讲 MSA 之前，先科普一个核心概念：注意力机制。

你可以把大模型理解成一个学生，它"读书"的方式是：每个字都要和上下文里的每个字"对暗号"。

比如读到"猫"这个字，它要回头看：前面有没有提到"猫"？和"狗"有什么关系？和"动物"有什么联系？

这就是Full Attention（全注意力）——每个 token 都要和所有的 token 交互。

问题来了：如果有 L 个 token，计算量就是 L × L，也就是 O(L²)。

• 1000 字：100 万次计算
• 1 万字：1 亿次计算
• 100 万字：1 万亿次计算

指数级爆炸！这就是为什么即便用上顶级 H100 集群，处理 100 万 token 时，显存也会"窒息"。

现有方案为什么不灵？

过去几年，业界一直在"补这个洞"，主要三条路：

1. RAG（检索增强生成）：给 AI 装个"外置硬盘"

RAG 的思路很简单：大模型记不住？那就外挂一个向量数据库，用的时候现查。

就像你考试带小抄——确实有用，但小抄和脑子是分离的。查资料需要时间，检索错了就答偏了，而且很难做复杂的跨文档推理。

2. 暴力扩窗口：硬撑

有些模型直接把上下文窗口拉到 128K、1M，但计算成本也跟着爆炸。而且随着长度增加，精度快速衰减，就像拉橡皮筋——拉得越长，弹性越差。

3. Agent 拆分：分段处理

让 AI 自己把长文本切成一段一段处理。但这就好比让你读一本小说，每读完一章就失忆，下一章重新来——连贯性根本没法保证。

三条路，各有各的坑。精度、扩展性、效率，就像一个"不可能三角"，没法同时满足。

MSA 的核心思路：把记忆"长"进注意力里

EverMind 团队的 MSA 不走这些弯路。他们的思路很直接：让记忆和注意力机制融为一体。

打个比方：

传统的 Full Attention 就像你在图书馆里，每本书都要从头到尾翻一遍才能找到想要的内容。书越多，翻得越累。

RAG 就像是有人帮你去别的房间查资料，查完拿给你——虽然你不用翻了，但来回跑腿需要时间，而且容易拿错。

而 MSA 呢？它给每本书都做了一张索引卡，而且索引卡就在你手边。你想找什么，瞟一眼索引就知道去哪本书的哪一页——精准、快速、不费力。

这个"索引卡"，就是 MSA 的核心创新：

四大技术突破

1. 稀疏注意力：从"死记硬背"到"精准打捞"

MSA 不再让每个 token 和所有的 token 交互，而是引入了专门的Router（路由投影器）。

Router 会在模型的潜空间（Latent Space）里，通过计算 Query 和 KV Cache 的余弦相似度，像雷达一样定位出最相关的 Top-k 个文档。

简单说：以前是大海捞针，现在是先锁定哪片海域有针，再精准打捞。

这样一来，计算复杂度从 O(L²) 降到了 O(L)——线性增长，不再指数爆炸。

2. Document-wise RoPE：懂文档边界，也懂时间

位置编码（RoPE）是大模型理解"谁在谁前面"的关键。传统 RoPE 的问题是：训练时用的短文本，推理时却要看长文本，位置编码会"漂移"，模型就懵了。

MSA 的解决方案很巧妙：每个文档的位置都从 0 开始。

就像你看书，每本书都有自己的页码，不会因为前面读了一本 300 页的书，下一本就从 301 页开始。这样一来，64K 训练就能外推到 1 亿 token，精度几乎不衰减。

同时，MSA 还设计了Global RoPE，保证"背景 → 查询 → 生成"的因果顺序不乱。

3. KV Cache 压缩 + Memory Parallel：省显存，也省算力

Router 找到相关文档后，MSA 不需要把整个文档的 KV Cache 都加载进来，而是用分块平均池化（Chunk-mean Pooling）进行压缩。

想象一下：一本书 300 页，你不用逐字逐句读，而是先看每章的摘要，就能把握大意。

在工程实现上，MSA 还搞了个Memory Parallel：把索引数据分散到多张 GPU 上，查询时并行计算，再把结果汇总。这样既能平衡显存，又能保证吞吐。

最终效果：2 张 A800 就能跑 1 亿 token 推理。

4. Memory Interleave：碎片记忆也能多跳推理

RAG 的一个痛点是：当答案分散在多份文档里，需要"多跳推理"（比如先查 A 文档找到线索，再查 B 文档验证），RAG 很容易掉链子。

MSA 的Memory Interleave（记忆交错）机制支持多轮查询：第一轮找到相关文档，第二轮在第一轮结果的基础上继续深挖……就像侦探破案，层层递进，抽丝剥茧。

实测效果：4B 干翻 235B

说了这么多，实际效果怎样？

论文在 9 个长文本问答数据集（MS MARCO、Natural Questions、HotpotQA 等）上做了测试，记忆库从 27 万到 1000 万 token 不等。

结果是：

MSA-4B（基于 Qwen3-4B）的平均得分是 3.760，相比同架构的 RAG 提升了 +16.0%。

更夸张的是，它甚至干翻了顶级的 RAG 组合：

• KaLMv2（最强检索器）+ Qwen3-235B（235B 参数大模型）：MSA 领先 +7.2%
• KaLMv2 + Llama-3.3-70B：MSA 领先 +10.7%

4B 参数的小模型，在长文本任务上超越了 235B 参数的巨型模型。

这就是 MSA 的魔力——记忆和推理完美解耦。模型不需要很大，只要记忆机制够强，照样能打。

大海捞针测试：16K 到 1 亿，只衰减 9%

RULER 基准测试（俗称"大海捞针"）显示：

• 传统模型在 128K 之后精度断崖式下跌，1M 时只剩 24.69%
• MSA 在 1M 时仍保持 94.84% 的精度
• 从 16K 到 1 亿 token，精度只下降了 不到 9%

这意味着什么？模型终于拥有了"一生"的记忆能力。

对创业者意味着什么？

技术再牛，落不了地也是白搭。

MSA 的一个巨大优势是：成本真的低。

• 2 张 A800 就能跑 1 亿 token 推理
• 不需要买动辄几百万的 H100 集群
• 创业公司完全用得起

想想看，以前只有大厂才能玩的"超长上下文"，现在小团队也能搞。这对 Agent、数字人、智能客服等场景简直是降维打击。

EverMind 甚至说，这可能是"记忆即服务"（Memory-as-a-Service）新纪元的开始。

结语

从 128K 到 1 亿 token，这不是简单的数字游戏，而是从"工具"到"伙伴"的质变。

想象一下：一个 AI 助手，能记住你一年来和它聊过的每一句话、每一个偏好、每一个习惯。它不需要你反复交代背景，不会"失忆"，不会断片——就像一个真正懂你老朋友。

MSA 让这个想象变成了可能。

论文和 GitHub 已经开源，代码和模型 Coming Soon。强烈建议算法和 Agent 方向的朋友去看看，这可能是今年长记忆领域最硬核的一篇。

毕竟，能记住你一生的 AI，才是真正懂你的 AI。

---

GitHub： https://github.com/EverMind-AI/MSA

论文： https://zenodo.org/records/19103670

---

如果这篇文章对你有启发，欢迎点赞、在看、转发三连，也欢迎关注我的公众号，一起聊聊 AI 和技术的那些事儿 👋

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

7. 资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇