随着AI应用大规模上线，LLM API成本正在成为很多团队的"隐形杀手"。本文从工程实践角度，系统梳理2026年最有效的LLM成本优化技术，帮助团队在不牺牲质量的前提下，将API账单降低50%-80%。

一、成本分析：钱都花在哪里了在优化之前，先搞清楚成本结构。LLM API的费用通常由两部分构成：- Input Token成本：发给模型的所有内容（系统提示+历史对话+用户输入）- Output Token成本：模型返回的内容（通常是Input的2-5倍单价）对于典型的AI应用，成本分布大致如下：系统提示（重复发送）: 20-40%历史对话（累积增长）: 30-50%用户输入: 10-20%模型输出: 15-30%可以看到，系统提示和历史对话的重复传输是最大的浪费源。## 二、Prompt Caching：最高ROI的优化手段### 2.1 什么是Prompt CachingAnthropic和OpenAI均已推出Prompt Caching功能——对于重复传输的前缀内容（如系统提示），只在第一次调用时计费，后续缓存命中时以极低价格（Anthropic为原价的10%）复用。节省潜力：对于系统提示占比高的应用，Prompt Caching可直接将总成本降低30-60%。### 2.2 Claude的缓存实现pythonimport anthropicclient = anthropic.Anthropic()# 构建可缓存的系统提示SYSTEM_PROMPT = """你是一个专业的代码审查助手，具备以下能力：1. 识别代码中的安全漏洞（XSS、SQL注入、权限越界等）2. 检查代码规范（PEP8、代码复杂度、命名规范）3. 发现性能问题（N+1查询、内存泄漏、算法复杂度）4. 给出可执行的重构建议你的回答应当：- 按严重程度排序（Critical > High > Medium > Low）- 给出具体的代码示例- 说明问题的影响范围""" * 10 # 假设是个很长的系统提示（>1024 tokens才有缓存价值）def review_code_with_cache(code: str) -> str: response = client.messages.create( model="claude-opus-4-7", max_tokens=2000, system=[ { "type": "text", "text": SYSTEM_PROMPT, "cache_control": {"type": "ephemeral"} # 标记为可缓存 } ], messages=[{"role": "user", "content": f"请审查以下代码：\npython\n{code}\n"}] ) # 查看缓存命中情况 usage = response.usage print(f"缓存读取tokens: {usage.cache_read_input_tokens}") print(f"缓存写入tokens: {usage.cache_creation_input_tokens}") return response.content[0].text### 2.3 OpenAI的自动缓存OpenAI的Prompt Caching是自动生效的——只要请求的前缀相同（长度>1024 tokens），就会自动命中缓存：pythonfrom openai import OpenAIclient = OpenAI()# 保持系统提示不变，OpenAI会自动缓存def call_with_auto_cache(user_message: str) -> str: response = client.chat.completions.create( model="gpt-6", messages=[ {"role": "system", "content": LONG_SYSTEM_PROMPT}, # 保持不变 {"role": "user", "content": user_message} ] ) # 检查缓存情况 usage = response.usage if hasattr(usage, 'prompt_tokens_details'): cached = usage.prompt_tokens_details.cached_tokens print(f"缓存命中: {cached} tokens") return response.choices[0].message.content关键实践：系统提示放在messages列表的最前面，并保持内容固定，这样最大化缓存命中率。## 三、模型路由：用小模型处理简单任务并不是所有任务都需要最强的模型。通过智能路由，将简单任务分发给轻量级模型：pythonimport refrom dataclasses import dataclassfrom typing import Callable@dataclass class ModelConfig: name: str cost_per_1k_input: float # 美元 cost_per_1k_output: float max_context: intMODELS = { "nano": ModelConfig("gpt-4o-mini", 0.00015, 0.0006, 128000), "standard": ModelConfig("claude-sonnet-4-6", 0.003, 0.015, 200000), "pro": ModelConfig("claude-opus-4-7", 0.015, 0.075, 200000),}class CostAwareRouter: """基于复杂度的成本感知路由器""" def route(self, prompt: str, task_type: str) -> str: complexity = self._estimate_complexity(prompt, task_type) if complexity < 0.3: return "nano" # 简单问答、格式转换 elif complexity < 0.7: return "standard" # 一般分析、代码生成 else: return "pro" # 复杂推理、架构设计 def _estimate_complexity(self, prompt: str, task_type: str) -> float: score = 0.0 # 基于任务类型的基础复杂度 base_scores = { "qa": 0.2, # 简单问答 "summary": 0.3, # 摘要 "translation": 0.2, # 翻译 "code_review": 0.6, # 代码审查 "architecture": 0.9, # 架构设计 "reasoning": 0.8, # 复杂推理 } score = base_scores.get(task_type, 0.5) # 基于prompt长度调整（更长的prompt通常更复杂） token_estimate = len(prompt) / 4 if token_estimate > 2000: score = min(1.0, score + 0.2) # 检测是否包含代码 if "" in prompt or re.search(r’\bdef\b|\bclass\b|\bfunction\b’, prompt): score = min(1.0, score + 0.1) return score# 使用示例router = CostAwareRouter()def smart_complete(prompt: str, task_type: str) -> str: model_tier = router.route(prompt, task_type) model = MODELS[model_tier] print(f"路由到: {model.name}（预计成本: KaTeX parse error: Expected 'EOF', got '#' at position 104: …ame, prompt)```#̲# 四、上下文压缩：减少历史对…{self.daily_cost:.2f}/$self.dail{y}_{b}udget:.2f）")ifself.dail{y}_{c}ost>self.dail{y}_{b}udget:raiseBudgetExceededError(f"今日AI费用超出预算：${self.daily_cost:.2f} > ${self.daily_budget:.2f}") return cost def report(self) -> dict: return { “daily_cost”: self.daily_cost, “budget_remaining”: self.daily_budget - self.daily_cost, “top_models”: sorted(self.cost_by_model.items(), key=lambda x: x[1], reverse=True)[:5], “top_features”: sorted(self.cost_by_feature.items(), key=lambda x: x[1], reverse=True)[:5], }```## 七、成本优化效果对比| 优化手段 | 适用场景 | 预期节省 | 实现复杂度 ||---------|---------|---------|-----------|| Prompt Caching | 系统提示>1K tokens | 30-60% | 低 || 模型路由 | 混合复杂度任务 | 40-70% | 中 || 上下文压缩 | 多轮对话 | 20-50% | 中 || Batch API | 非实时任务 | 50% | 低 || 输出长度控制 | 所有场景 | 10-30% | 低 || 综合应用 | 生产系统 | 60-80% | 中 |## 八、总结LLM成本优化不是一次性工作，而是需要持续监控和迭代的工程实践。核心策略：1. 先量化：建立成本追踪，搞清楚钱花在哪2. Caching优先：最低成本、最高收益的优化3. 模型分级路由：简单任务用小模型4. 压缩历史上下文：避免无效Token累积5. 批处理非实时任务：直接节省50%6. 持续监控：设置预算告警，防止成本失控综合运用这些手段，将AI应用的API账单降低70%是完全可实现的工程目标。