月底看账单,很多人第一反应是模型涨价了。再查调用量,也没涨多少。

钱花在哪,账面上看不出来。因为 Agent 的一次请求,不是只发一句用户问题。

系统提示词、工具定义、历史消息、工具返回、心跳任务,全都在计费。

一、先算固定开销

固定开销是每次调用都要重发的那部分。

系统提示词、工具 schema、少样本示例、输出格式约束,这些东西不随用户问题变化,但每次请求都要带。

一个工具定义写三百字,十个工具就是三千字。再加系统提示词和示例,一次请求还没开始干活,上下文已经过万。

我会先做一个简单估算。

def fixed_tokens(system_prompt, tools, few_shot, calls_per_day):
    # 粗略估算:中文按 1 字 1 token,英文按 4 字符 1 token
    system = len(system_prompt)
    tool_schema = sum(len(str(t)) // 4 for t in tools)
    shots = len(few_shot)
    per_call = system + tool_schema + shots
    return per_call, per_call * calls_per_day

per_call, daily = fixed_tokens(system_prompt, tools, few_shot, calls_per_day=2000)
print(per_call, daily)

这个数不用精确到个位,它只要回答一个问题:固定开销占了多少。

如果每次请求固定开销五千,一天两千次,就是千万级 token。用户问题本身可能只有二十个字。

二、工具返回,是最容易漏掉的一本账

工具调用的返回,也会进上下文。

查订单,返回一整页 JSON。

查日志,返回两百行文本。

读网页,返回整页 HTML。

模型不需要的字段,也在计费。

我会在工具层先做三件事。

第一,只返回需要的字段。订单接口有三十个字段,Agent 只用订单号、状态、金额、时间,其余在工具里丢掉。

第二,长列表分页。不要一次返回一千条,先给总数和前十条,需要再翻页。

第三,大文本先摘要。网页、PDF、日志,先本地截断或提取,再把摘要给模型。

这一步放在工具层,比在提示词里写“请忽略无关内容”有用。

模型没有跳过计费的能力。它只能把发过来的 token 全部读一遍。

三、历史消息,不是越长越聪明

多轮对话会把历史全部带上。

聊到第十轮,前面九轮都在重复计费。

有些内容不能删。用户确认过的地址、订单号、金额、权限范围,这些约束要单独存,不能靠摘要。

可以删的是寒暄、重复确认、已经完成的中间步骤。我一般用滑动窗口加摘要。

最近三轮保留原文,更早的对话压成一段摘要,约束字段单独放,不参与摘要。

这样省下 token,也不会把关键条件压没。

摘要本身也要算钱。每次压缩都调一次模型,压缩太频繁,省下的 token 还不够付摘要费。

四、心跳任务,会把空闲时间变成调用

很多 Agent 有定时任务,每隔半小时检查一次消息。

检查一次,就发一次完整上下文。用户没说话,账单也在走。

我会把心跳拆成两层。

第一层只做本地检查,不调模型。有新消息、有状态变化,再进入第二层。

第二层才带上下文调模型。

心跳频率也要看业务,不是所有场景都需要三十分钟一次。

日报类任务一天一次就够。即时客服可以缩短,但要有事件触发,不要空转。

五、把账记到功能上

只看总量,还是不知道该砍哪里。我会在每次调用里带三个标签。

功能名、调用来源、是否命中缓存。

日志里记下 prompt_tokens 和 completion_tokens。

按天聚合,按功能排序。

排在前面的功能,就是优化重点。常见的结果是:一个不常用的内部工具,占了最多的工具返回 token。

或者一个定时任务,调用次数比用户请求还多。

不记到功能,永远发现不了。

六、优化顺序

先砍固定开销。删掉不用的工具,缩短系统提示词,把少样本示例从十条降到两条。

再砍工具返回。

再砍工具返回,做字段裁剪、分页和本地摘要。

再关心跳,能本地判断的不要调模型。

最后才压历史消息。

因为历史消息压缩最容易伤到约束。顺序反了,可能省了一点 token,却把答案质量弄坏。

七、还没解决的问题

不同厂商的 token 计数方式不一样。

同样一段中文,有的按字算,有的按子词算。

跨模型比价,账面对不上。

另一个是缓存计费。

有些平台对命中缓存的前缀打折,有些没有。

同一套 Agent,换一个供应商,成本结构可能完全变。

这两个问题不解决,预算只能做粗算。

但至少,先把固定开销、工具返回、心跳任务三本账分开。

不然每次账单涨了,只能猜是模型贵了。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐