本文以Claude Code为例，深入解析了AI agent中的提示词缓存机制。通过区分静态前缀（系统指令、工具定义等不变部分）和动态尾部（用户交互等变化部分），利用Transformer预填充阶段计算Key-Value向量，实现了92%的缓存命中率，显著降低了重复计算的“上下文税”，节省高达81%的成本。文章详细阐述了核心原理、实用规则以及Claude Code的案例研究，并提供了构建提示词的优化建议和监控缓存效率的方法。对于希望提升大模型效率、降低成本的小白程序员来说，本文提供了宝贵的实践指导。

案例研究：Claude 如何实现 92% 的提示词缓存命中率

每当 AI 智能体（AI Agent）执行一个步骤时，它都在交税。 它必须从头开始重新阅读所有内容：系统指令、工具定义，以及三轮对话前就已经加载过的项目上下文。每一轮对话，周而复始。

这就是上下文税（Context Tax）。对于长路径的智能体工作流来说，这通常是你整个 AI 基础设施中最昂贵的支出项。

算一笔账：一个包含 20,000 token 的系统提示词，如果运行 50 个回合，意味着有 100 万 token 的冗余计算在按全价计费，却不产生任何新价值。

解决方法是提示词缓存（Prompt Caching）。但要用好它，你必须理解其底层逻辑。

从“变”与“不变”开始

在进行任何优化之前，你需要清晰地思考智能体提示词（上下文）的结构。 智能体发送的每个请求都由两个根本不同的部分组成：

• 静态前缀（Static Prefix）： 包括系统指令、工具定义、项目上下文、行为准则。这些内容在整个会话的每一轮中都是完全相同的。
• 动态尾部（Dynamic Tail）： 用户消息、工具输出、终端观察结果。这部分内容随请求而异，并随着对话的进行而增长。

这种区分至关重要。静态前缀是你一直在无谓重复计算的昂贵部分；而动态尾部才是真正需要新鲜计算的部分。 提示词缓存的工作原理是存储静态前缀的数学状态，以便后续请求可以完全跳过重新计算的过程。你只需支付一次处理该前缀的费用，后续每一轮直接从内存中读取即可。

核心原理：Transformer 到底在做什么？

要真正理解缓存为何如此有效，你需要了解模型在阅读提示词时内部发生了什么。 每个 LLM 推理请求都有两个阶段：

阶段 1：预填充 (Prefill)

这是模型处理完整输入提示词的阶段。它是计算密集型（Compute-bound）的，意味着它在你的上下文中的每个 token 上运行稠密的矩阵乘法。模型阅读一切并构建其表示。这是缓慢且昂贵的阶段。

阶段 2：解码 (Decode)

这是模型逐个生成输出 token 的阶段。它是内存受限型（Memory-bound）的，因为模型大部分时间花在读取之前计算的状态，而不是进行沉重的计算。

在预填充阶段，Transformer 为每个 token 构建三个向量：查询（Query）、键（Key）和值（Value）。注意力机制利用这些向量来确定序列中每个 token 与其他 token 的关系。

关键洞察：键（Key）和值（Value）向量仅取决于其之前的 token。 一旦为给定前缀计算出它们，就永远不需要改变。

如果没有缓存，这些 KV 张量（KV Tensors） 在请求完成时就会被丢弃。下一个请求会从零开始，再次为所有 20,000 个 token 重新计算它们。KV 缓存通过存储这些张量解决了这个问题。基础设施将它们保留在推理服务器上，通过输入文本的加密哈希值进行索引。当带有相同前缀的新请求进入时，哈希匹配，张量立即被检索，模型跳过所有计算。

这将计算复杂度从每个生成 token 的 O(n²) 降到了 O(n)。对于重复 50 轮的 20,000 token 前缀，这是一次巨大的缩减。

经济账

理解定价结构是让这一架构决策发挥威力的关键。以下是 Anthropic 对其模型系列的缓存定价：

你需要内化三个数字：

1. 缓存读取（Cache Reads）： 仅为基础输入价格的 10%（即每读取一个缓存 token 可享受 90% 的折扣）。
2. 缓存写入（Cache Writes）： 比基础输入价格贵 25%（存储 KV 张量的一笔小额溢价）。
3. 延长至 1 小时的缓存： 价格为基础价格的 2 倍。

只有当你的缓存命中率保持在高位时，这笔账才划算。这引出了现实世界中最能说明问题的例子。

Claude Code：30 分钟会话拆解

Claude Code 的构建完全围绕一个目标：保持缓存热度（Keep the cache hot）。 让我们看看一个典型的 30 分钟编程会话是如何运作的：

• 第 0 分钟：会话开始Claude Code 加载其系统提示词和工具定义。它还会读取项目根目录下的 CLAUDE.md 文件（描述代码库规范）。这部分载荷通常超过 20,000 token。这是整个会话中最昂贵的时刻，每个 token 都是新的，但你只需支付一次。
• 第 1 到 5 分钟：首个指令你输入“查看 auth 模块并提出改进建议”。Claude Code 派出一个 Explore（探索）子智能体。它遍历代码库、打开文件、运行 grep 命令。所有这些都会追加到“动态尾部”。而那 20,000 token 的静态基础？已在缓存中。读取费为 0.30/MTok，而非3/M Tok。你只需为新生成的工具输出和你的消息付费。
• 第 6 到 15 分钟：深入工作****Plan（计划）子智能体接收探索结果。为了避免动态尾部爆炸，Claude Code 会传递精简摘要。计划器生成实施方案，你审核并批准，接着 Claude Code 开始实施代码修改。这一循环中的每一轮都在从缓存读取那 20,000 token 的前缀。每次缓存命中都会重置 TTL（生存时间），保持缓存状态。
• 第 16 到 25 分钟：迭代你要求进行调整。Claude Code 修改了它的方法。更多的工具调用，更多的终端输出。动态尾部正在增长，但它只代表本次会话中全新的、独特的内容。 此时，会话总共处理了数十万个 token。但那 20,000 token 的基础内容在每一轮中都是从缓存读取的。
• 第 28 分钟：运行 /cost
• 如果没有缓存，这样的会话轻松超过 200 万 token。按 Sonnet 4.5 的费率计算，大约需要 6.00 美元。
• 有了高效缓存：
• 绝大部分 token 以 $0.30/MTok 的价格从缓存读取。
• 只有新的动态尾部 token 需要新鲜计算。 在实践中，单次任务的成本预计会降低 80% 以上。

毁掉一切的规则

关于提示词缓存，最反直觉的一点是：1 + 2 = 3, 但是 2 + 1 会导致缓存失效（Cache Miss）。

基础设施对提示词进行哈希处理。如果顺序发生任何变化（即便元素相同），哈希值就会改变。缓存变为空，整个前缀将按全价重新计算。

由此衍生的三条准则：

1. 不要在会话中途增删工具。 缓存的前缀包含工具定义。改变工具会让后续的所有缓存失效。
2. 切勿在中途更换模型。 缓存是特定于模型的。
3. 不要为了改变状态而修改前缀。 相反，Claude Code 会在下一条用户消息中添加标签来提醒系统，前缀永远保持不变。

对你的启示：如何构建提示词

上面的一切解释了 Claude Code 是如何处理缓存的。如果你在开发自己的智能体，同样的规则也适用。 请遵循以下结构来构建你的提示词：

1. 顶部： 系统指令和规则（不要在中途改变）。
2. 中间： 预先加载所有需要的工具（不增不减）。
3. 随后： 检索到的上下文和文档（在会话期间保持静态）。
4. 底部： 对话历史和工具输出（动态增长）。

随着自动缓存（Auto-caching）的开启，缓存断点会自动向前移动。

Claude Code 负责管理自己的缓存。Anthropic 刚刚在其 API 中加入了自动缓存功能，所以你现在也可以为自己的智能体实现同样的机制。

如果没有自动缓存，你需要记住 token 边界在哪里。边界划分错误就意味着无法命中缓存。

**进阶技巧：使用“缓存安全分叉”进行上下文压缩。**当达到上下文限制需要压缩历史时，保持相同的系统提示词、工具和对话，然后将压缩请求作为新消息添加。

这个压缩调用看起来几乎和上一个请求一模一样。缓存的前缀再次被使用。唯一按新 token 计费的是那条压缩指令本身。

要查看 API 是否按预期工作，请密切关注每个响应中的这三个字段：

• cache_creation_input_tokens：存入内存的 token 数
• cache_read_input_tokens：从内存读取的 token 数
• input_tokens：像往常一样处理的 token 数

你的缓存效率得分是读取的 token 数与创建的 token 数之比。像监控系统正常运行时间（uptime）一样去监控它。

总结

提示词缓存不是一个可以随便开启的“功能”，而是一种需要围绕其建立的架构规范。 Claude Code 是大规模应用这一规范的最佳范例：

• 92% 的缓存命中率。
• 81% 的成本削减。

这是开发智能体的蓝图。你无法忽视“上下文税”，它客观存在。唯一重要的问题是：你是在默默交税，还是在设法免税？

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包：

• ✅ 从零到一的 AI 学习路径图
• ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
• ✅ 百度/阿里专家闭门录播课
• ✅ 大模型当下最新行业报告
• ✅ 真实大厂面试真题
• ✅ 2026 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要 《AI大模型入门+进阶学习资源包》，下方扫码获取~

① 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

② 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

以上资料如何领取？

为什么大家都在学大模型？

最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！

不出1年，“有AI项目经验”将成为投递简历的门槛。

风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

以上全套大模型资料如何领取？