掌握提示词缓存：大幅降低大模型使用成本，小白程序员必看！

冻感糕人~

376人浏览 · 2026-03-16 10:21:32

冻感糕人~ · 2026-03-16 10:21:32 发布

本文深入探讨了如何通过提示词缓存技术，显著降低大语言模型在长时间运行智能体工作流中的计算成本。文章首先介绍了静态上下文与动态上下文的区别，随后详细解析了KV缓存的工作原理及其带来的经济性优势。通过实例分析，揭示了缓存命中率对成本节约的影响，并提出了基于哈希缓存的注意事项及应对策略。最后，文章总结了提示词缓存的关键要点，强调了其在设计智能体时的核心地位。掌握这一技术，不仅能有效控制成本，还能提升智能体性能，是程序员和大模型学习者的必备知识。

静态上下文 vs 动态上下文

在优化提示之前，你需要了解什么会变化，什么不会变化。

每个智能体请求都有两个本质不同的部分：

• 静态前缀：跨轮保持相同的部分：系统指令、工具定义、项目上下文和行为准则。
• 动态后缀：随着每一轮增长的部分：用户消息、助手响应、工具输出和终端观察。

这种分离使得提示词缓存成为可能。基础设施会存储静态前缀的数学状态，以便后续共享该精确前缀的请求可以完全跳过计算，直接从内存中读取。

一旦你理解了这一点，本文中的每个架构决策都变得显而易见了。

KV缓存是如何工作的？

要理解缓存为何如此有效，你需要了解Transformer在处理提示时实际做了什么。

每个大语言模型推理请求都有两个阶段：

• 预填充阶段：处理整个输入提示。它在上下文中的所有Token上运行密集矩阵乘法，以构建模型的内部表示。这是计算密集型且昂贵的。
• 解码阶段：一次生成一个Token。每个新Token被添加到序列中，模型预测下一个Token。这个阶段是内存密集型的，因为它主要读取历史状态而不是进行重计算。

在预填充阶段，Transformer为每个Token计算三个向量：Query（查询）、Key（键）和Value（值）。注意力机制利用这些来确定每个Token与其他Token的关系。任何给定Token的Key和Value向量只取决于它前面的Token，一旦计算完成，它们就永远不会改变。

没有缓存的情况下，这些Key和Value张量在每个请求后都会被丢弃，下一个请求会从头重新计算它们。对于20,000个Token的前缀，这意味着20,000个Token的注意力计算本不必再次发生。

KV缓存通过在推理服务器上持久化这些张量来解决这个问题，使用Token序列的加密哈希作为索引。当新请求带有相同前缀到来时，哈希匹配，张量从内存中加载，这些Token的预填充计算被完全跳过。

这将每生成一个Token的计算复杂度从O(n²)降低到O(n)。对于跨50轮重复的20,000个Token前缀，这是一个巨大的减少。

经济性

定价结构使得这个架构决策变得如此重要。

缓存读取只需基础输入价格的0.1倍，即每个缓存的Token享受90%的折扣。缓存写入需要1.25倍，即25%的溢价来存储KV张量。延长到一小时的缓存需要2.0倍。

以下是跨Anthropic的Claude模型的情况：

这个计算只有在缓存命中率保持高位时才有效。Claude Code是生产环境中最好的例子。

使用Claude Code的30分钟编码会话

Claude Code完全围绕一个目标构建：保持缓存热状态。

以下是从计费角度来看一个真实的30分钟编码会话是什么样的。

第0分钟：Claude Code加载其系统提示、工具定义和项目的CLAUDE.md文件。这个有效载荷超过20,000个Token，由于每个Token都是新的，这是整个会话中最昂贵的时刻。但你只需支付这一次成本。

第1-5分钟：你开始给出指令，Claude Code派出探索子智能体导航代码库、打开文件并运行grep命令。所有这些都被追加到动态后缀中。但这20,000个Token的静态前缀现在以0.30美元/百万Token的价格从缓存读取，而不是3.00美元/百万Token。

第6-15分钟：计划子智能体收到的是一个摘要简报而不是原始结果，因为传递原始输出会不必要地膨胀动态后缀。它产生一个实施计划，你批准后，Claude Code开始进行更改。每一轮都从缓存读取静态前缀，命中率攀升至90%以上，每次访问都会重置TTL以保持缓存温热。

第16-25分钟：你请求更改，这意味着更多的工具调用、更多的终端输出，以及更多的上下文累积在动态后缀中。到目前为止，会话已经处理了数十万个Token，但每一轮都是从缓存中读取这20,000个Token的基础。

第28分钟：你在终端运行/cost。如果没有缓存，200万个Token以Sonnet 4.5的价格计算将花费6.00美元。由于缓存以92%的效率运行，184万个Token是缓存读取，总成本降至1.15美元。这是一个任务上81%的成本降低。

这就是热缓存的样子。你只需为静态基础支付一次费用，然后就可以免费读取它。动态尾部是唯一被收费的部分。

基于哈希缓存的脆弱性

关于提示词缓存，最反直觉的事情是：

"1 + 2 = 3"有效，但"2 + 1"会导致缓存未命中。

基础设施从头开始对整个Token序列进行哈希。如果序列中的任何内容发生变化，即使只是两个元素的顺序，哈希也会发生变化，整个前缀都会以全价重新计算。

这不是一个小的实现细节。这是Claude Code中每个工程决策都围绕的核心约束。

以下是生产中导致缓存失效的真实例子：

• 注入系统提示的时间戳在每个请求上创建了唯一的哈希。
• JSON序列化器在请求之间以不同方式排序工具模式键，使前缀失效。
• 会话中更新参数的AgentTool清除了整个20,000个Token的缓存。

由此产生三条规则：

1. 会话期间不要修改工具。工具定义是缓存前缀的一部分，因此添加或移除工具会使下游所有内容失效。
1. 会话期间永远不要切换模型。缓存是模型特定的，这意味着会话中途切换到更便宜的模型需要从头重建整个缓存。
1. 永远不要修改前缀来更新状态。Claude Code不会编辑系统提示，而是在下一条用户消息中追加一个提醒标签，这样前缀就保持不变。

将此应用到你自己的智能体

无论你使用Claude Code还是从头构建自己的智能体，相同的规则都适用。

按以下顺序组织你的提示：

1. 顶部的系统指令和行为规则。会话期间不要更改它们。
1. 预先加载所有工具定义。不要添加或移除它们。
1. 然后是检索的上下文和参考文档。在整个会话期间保持它们稳定。
1. 底部的对话历史和工具输出。这是你的动态后缀。

在Anthropic API上启用自动缓存后，缓存断点会随着对话增长自动推进。没有它，你需要手动跟踪Token边界，而错误的边界意味着完全错过缓存。

当接近上下文限制时进行上下文压缩，请使用缓存安全的分叉。保持相同的系统提示、工具和对话历史，然后将压缩指令作为新消息追加。缓存的前缀被重用，唯一被计费的新Token是压缩指令本身。

验证你的缓存是否工作

要验证你的缓存是否正常工作，请监控API响应中的这三个字段：

• cache_creation_input_tokens：写入缓存的Token。
• cache_read_input_tokens：从缓存服务的Token。
• input_tokens：未使用缓存处理的Token。

你的缓存效率 = cache_read_input_tokens / (cache_read_input_tokens + cache_creation_input_tokens)。像跟踪正常运行时间一样跟踪它。

关键要点

提示词缓存不是一个你可以切换的功能，它是你围绕设计的架构原则。

核心思想很简单：组织你的提示，使静态内容位于顶部，动态内容在底部增长。基础设施对前缀进行哈希，存储KV张量，并在每次后续读取时给你90%的折扣。

但原则体现在细节中。不要将时间戳注入系统提示，不要打乱工具定义，会话期间不要切换模型，不要修改缓存断点上游的任何内容。

Claude Code展示了大规模运行的样子，缓存命中率为92%，成本降低81%。如果你正在构建智能体而不是围绕提示词缓存进行设计，你将把大部分利润留在桌面上。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】