成本追踪：AI API 成本计算与预算管理

全面了解 AI Observability Agent 的成本追踪系统，实现 AI 支出的透明化管理

AI 成本监控的重要性

在大模型时代，AI API 调用成本已经成为企业的重要支出项。有效的成本监控可以：

1. 成本透明化

• 实时了解支出：实时掌握 AI API 调用成本
• 识别成本异常：及时发现异常的成本增长
• 优化资源分配：基于成本数据调整资源分配

2. 预算控制

• 设置预算限制：避免超支风险
• 阈值告警：预算接近限额时及时提醒
• 成本预测：基于历史数据预测未来支出

3. 决策支持

• 模型选择：基于成本效益分析选择合适的模型
• 使用模式优化：识别并优化高成本使用模式
• ROI 分析：评估 AI 投资回报率

内置定价表

AI Observability Agent 内置了主流 AI 模型的定价数据，确保成本计算的准确性。

支持的模型列表

模型	提供商	输入成本 ($/1K tokens)	输出成本 ($/1K tokens)
claude-3-opus	anthropic	0.015	0.075
claude-3-sonnet	anthropic	0.003	0.015
claude-3-haiku	anthropic	0.00025	0.00125
gpt-4o	openai	0.005	0.015
gpt-4-turbo	openai	0.01	0.03
gpt-3.5-turbo	openai	0.0005	0.0015
o1	openai	0.015	0.06
o1-mini	openai	0.003	0.012
llama3-70b	meta	0.001	0.002
gemini-1.5-pro	google	0.0035	0.0105

定价数据来源

• 官方文档：各 AI 提供商的官方定价页面
• API 响应：从 API 响应中获取实际定价
• 社区维护：定期更新定价数据

自定义定价

支持用户自定义模型定价：

cost_tracking:
  enabled: true
  
  custom_pricing:
    custom-model-v1:
      input_cost_per_1k: 0.01      # 输入 Token 每千个成本
      output_cost_per_1k: 0.02     # 输出 Token 每千个成本
      cache_read_cost_per_1k: 0.001   # 缓存读取成本（可选）
      cache_write_cost_per_1k: 0.002  # 缓存写入成本（可选）

成本计算引擎

核心功能

• 实时计算：每次采集后立即计算成本
• 多维度聚合：按模型、提供商、时间等维度聚合
• 缓存成本：支持计算缓存读写成本
• 精度保证：使用高精度浮点数计算

计算方法

基本计算公式：

成本 = (输入 Token 数 / 1000) × 输入成本 + (输出 Token 数 / 1000) × 输出成本

包含缓存的计算公式：

成本 = (输入 Token 数 / 1000) × 输入成本 + (输出 Token 数 / 1000) × 输出成本 + (缓存读取 Token 数 / 1000) × 缓存读取成本 + (缓存写入 Token 数 / 1000) × 缓存写入成本

数据来源

成本计算的数据来源包括：

1. OpenAI Usage API：直接从 API 获取使用数据
2. LiteLLM Proxy：从 /metrics 端点获取 Token 使用量
3. OTLP 数据：从 Claude Code 等支持 OTLP 的工具获取
4. 自定义插件：通过插件系统获取其他来源的数据

预算管理

配置示例

cost_tracking:
  enabled: true
  
  budget:
    enabled: true                  # 是否启用预算管理
    daily_limit_usd: 100           # 每日预算限制（美元）
    monthly_limit_usd: 2000        # 每月预算限制（美元）
    alert_threshold_percent: 80    # 告警阈值百分比
  
  alerts:
    enabled: true                  # 是否启用告警
    webhook_url: ${ALERT_WEBHOOK_URL}  # Webhook URL

预算计算

• 每日预算：从当天 00:00 开始计算
• 每月预算：从当月 1 日 00:00 开始计算
• 实时更新：每次采集后更新预算使用情况

告警机制

告警触发条件：

• 达到告警阈值（默认 80%）
• 超过预算限制

告警方式：

• Webhook：发送 HTTP POST 请求到配置的 URL
• 日志：记录告警信息到日志
• 指标：生成预算告警指标

Webhook 格式：

{
  "id": "alert-1234567890",
  "severity": "warning",
  "title": "Budget Alert",
  "message": "Daily budget usage reached 85% ($85 of $100)",
  "source": "cost_tracker",
  "timestamp_ms": 1234567890000,
  "data": {
    "daily_limit": 100.0,
    "daily_spent": 85.0,
    "daily_percent": 85.0,
    "monthly_limit": 2000.0,
    "monthly_spent": 1200.0,
    "monthly_percent": 60.0
  }
}

成本报告 API

1. 获取成本汇总

端点：GET /api/v1/costs

响应示例：

{
  "success": true,
  "data": {
    "total_cost_usd": 15.23,
    "total_input_tokens": 1500000,
    "total_output_tokens": 500000,
    "by_model": {
      "gpt-4o": {
        "model": "gpt-4o",
        "total_cost_usd": 10.50,
        "total_input_tokens": 1000000,
        "total_output_tokens": 300000,
        "request_count": 150
      },
      "claude-3-sonnet": {
        "model": "claude-3-sonnet",
        "total_cost_usd": 4.73,
        "total_input_tokens": 500000,
        "total_output_tokens": 200000,
        "request_count": 80
      }
    },
    "by_provider": {
      "openai": {
        "provider": "openai",
        "total_cost_usd": 10.50,
        "total_input_tokens": 1000000,
        "total_output_tokens": 300000
      },
      "anthropic": {
        "provider": "anthropic",
        "total_cost_usd": 4.73,
        "total_input_tokens": 500000,
        "total_output_tokens": 200000
      }
    }
  }
}

2. 获取预算状态

端点：GET /api/v1/budget

响应示例：

{
  "success": true,
  "data": {
    "enabled": true,
    "daily_limit": 100.0,
    "daily_spent": 15.23,
    "daily_remaining": 84.77,
    "daily_percent": 15.23,
    "monthly_limit": 2000.0,
    "monthly_spent": 450.50,
    "monthly_remaining": 1549.50,
    "monthly_percent": 22.53,
    "alert_threshold": 80.0,
    "daily_alert_triggered": false,
    "monthly_alert_triggered": false
  }
}

3. 获取详细成本报告

端点：GET /api/v1/costs/summary

响应示例：

{
  "success": true,
  "data": {
    "time_range": "2024-04-01T00:00:00Z to 2024-04-11T23:59:59Z",
    "total_cost_usd": 450.50,
    "average_daily_cost": 40.95,
    "highest_cost_day": "2024-04-05",
    "highest_cost_amount": 65.20,
    "by_model": [
      {
        "model": "gpt-4o",
        "cost_usd": 320.40,
        "percentage": 71.12,
        "input_tokens": 3500000,
        "output_tokens": 900000
      },
      {
        "model": "claude-3-sonnet",
        "cost_usd": 130.10,
        "percentage": 28.88,
        "input_tokens": 1800000,
        "output_tokens": 700000
      }
    ],
    "trend": [
      { "date": "2024-04-01", "cost_usd": 35.20 },
      { "date": "2024-04-02", "cost_usd": 42.80 },
      { "date": "2024-04-03", "cost_usd": 38.50 },
      { "date": "2024-04-04", "cost_usd": 40.10 },
      { "date": "2024-04-05", "cost_usd": 65.20 },
      { "date": "2024-04-06", "cost_usd": 41.30 },
      { "date": "2024-04-07", "cost_usd": 39.70 },
      { "date": "2024-04-08", "cost_usd": 42.90 },
      { "date": "2024-04-09", "cost_usd": 38.60 },
      { "date": "2024-04-10", "cost_usd": 40.80 },
      { "date": "2024-04-11", "cost_usd": 15.23 }
    ]
  }
}

实战案例

案例 1：企业 AI 平台成本管理

背景：某企业部署了 AI 平台，使用多个 AI 模型，需要统一管理成本。

配置：

cost_tracking:
  enabled: true
  
  budget:
    enabled: true
    daily_limit_usd: 500
    monthly_limit_usd: 10000
    alert_threshold_percent: 80
  
  alerts:
    enabled: true
    webhook_url: https://example.com/webhook

ai_collectors:
  openai:
    - name: openai_production
      api_key: ${OPENAI_API_KEY}
  
  litellm:
    - name: litellm_proxy
      endpoint: http://litellm-proxy:4000

remote_write:
  endpoint: http://prometheus:9090/api/v1/write

监控效果：

• 实时掌握各模型的成本分布
• 预算接近限额时自动告警
• 通过 Grafana Dashboard 可视化成本趋势
• 识别高成本使用模式并优化

案例 2：个人开发者成本控制

背景：个人开发者使用 OpenAI API 开发应用，需要控制成本。

配置：

cost_tracking:
  enabled: true
  
  budget:
    enabled: true
    daily_limit_usd: 10
    monthly_limit_usd: 200

ai_collectors:
  openai:
    - name: openai_personal
      api_key: ${OPENAI_API_KEY}

remote_write:
  endpoint: http://localhost:9090/api/v1/write

使用方式：

• 通过 API 查看每日成本
• 设置预算告警避免意外超支
• 分析 Token 使用效率
• 优化 prompt 减少 Token 消耗

最佳实践

1. 配置最佳实践

预算设置：

• 根据实际需求设置合理的预算
• 从小额开始，根据使用情况调整
• 设置多级告警阈值（如 50%、80%、95%）

定价管理：

• 定期更新自定义定价数据
• 验证官方定价变更
• 为自定义模型设置合理的定价

2. 监控最佳实践

关键指标：

• 总成本：ai_cost_usd_total
• 成本趋势：rate(ai_cost_usd_total[1d])
• 预算使用：通过 /api/v1/budget API
• 模型成本分布：sum by (model) (ai_cost_usd_total)

Grafana Dashboard：

• 成本总览：显示当前成本、预算使用情况
• 成本趋势：按日/周/月的成本变化
• 模型分析：各模型的成本分布
• 预算告警：预算使用百分比和告警状态

PromQL 查询示例：

# 过去 7 天的每日成本
sum by (date) (rate(ai_cost_usd_total[1d]))

# 各模型的成本占比
sum by (model) (ai_cost_usd_total) / sum(ai_cost_usd_total) * 100

# 每 1000 个 Token 的成本
sum(ai_cost_usd_total) / sum(ai_tokens_input_total + ai_tokens_output_total) * 1000

3. 成本优化策略

模型选择：

• 根据任务复杂度选择合适的模型
• 对简单任务使用更便宜的模型
• 考虑使用开源模型降低成本

Token 优化：

• 优化 prompt 减少输入 Token
• 使用结构化输出减少输出 Token
• 利用缓存减少重复计算

使用模式：

• 批处理请求减少 API 调用次数
• 合理设置温度参数
• 避免不必要的重复调用

监控与分析：

• 定期分析成本报告
• 识别异常使用模式
• 优化高成本场景

故障排查

1. 成本计算不准确

症状：

• 计算的成本与实际账单不符
• 某些模型的成本计算错误

排查步骤：

1. 检查模型定价配置
2. 验证 Token 计数是否正确
3. 查看 Agent 日志中的成本计算信息
4. 手动计算验证

解决方案：

• 更新定价表
• 检查 Token 计数逻辑
• 调整计算参数

2. 预算告警不触发

症状：

• 预算已接近或超过限制，但未收到告警

排查步骤：

1. 检查预算配置是否正确
2. 验证 Webhook 配置
3. 查看 Agent 日志
4. 检查预算计算逻辑

解决方案：

• 启用预算管理
• 检查 Webhook URL
• 调整告警阈值

3. API 响应错误

症状：

• 成本报告 API 返回错误
• API 响应超时

排查步骤：

1. 检查 Agent 服务状态
2. 验证 API 端点
3. 查看 Agent 日志
4. 检查网络连接

解决方案：

• 重启 Agent 服务
• 检查配置
• 调整 API 超时设置

未来扩展

增强功能

• 多货币支持：支持多种货币的成本计算
• 成本预测：基于历史数据预测未来成本
• 成本分配：按项目/团队/用户分配成本
• ROI 分析：评估 AI 投资回报率
• 自动优化建议：基于成本数据提供优化建议

集成扩展

• 企业财务系统：与企业财务系统集成
• 预算管理工具：与预算管理工具集成
• 计费系统：支持内部计费

总结

AI Observability Agent 的成本追踪系统为企业和开发者提供了全面的 AI 成本管理能力：

1. 实时成本计算：准确计算 AI API 使用成本
2. 预算管理：设置预算限制和告警
3. 多维度分析：按模型、提供商、时间等维度分析成本
4. API 接口：提供丰富的成本查询 API
5. 告警机制：及时提醒预算使用情况

通过成本追踪系统，企业可以更好地管理 AI 支出，优化资源分配，实现 AI 投资的最大价值。

下一步

• 质量监控 - AI 服务质量评估
• Grafana 可视化 - 开箱即用的监控面板
• 快速开始 - 5分钟部署指南