AI推理会不会像CDN一样变成白菜价？从成本结构聊聊我的判断

qq_41397057

695人浏览 · 2026-05-19 10:24:12

qq_41397057 · 2026-05-19 10:24:12 发布

AI推理会不会像CDN一样变成白菜价？从成本结构聊聊我的判断

摘要：2024年大模型API价格一路往下走，国内几家厂商甚至打起了免费牌。有人预言AI推理会像CDN一样最终变成白菜价。我从IDC基础设施的成本结构出发聊聊这个判断靠不靠谱，纯个人看法，不一定对。

关键词：AI推理、API定价、算力成本、CDN、IDC基础设施

API价格确实在往下走

先把事实摆出来。

2023年初，GPT-4的API价格大约是每百万输入Token 30美元。

2024年底，同等能力的GPT-4o降到了2.5美元。两年降了12倍。

国内更夸张。2023年国内大模型API普遍几块钱甚至十几块钱每百万Token。到2024年下半年，主力模型降到了几毛到一两块。有的厂商甚至搞起了免费额度。

这个降价速度，跟十年前CDN的价格走势确实很像。

CDN是怎么降下来的

CDN刚出来的时候很贵。

2008年前后，1Mbps带宽的CDN月费大概几千块。一个日均百万PV的网站，CDN费用可能要好几万一个月。

后来阿里云、腾讯云开始打价格战，1Mbps月费从几千降到几百，再降到几十。

现在2024年，部分厂商的CDN流量费低到几分钱一个GB。跟十年前比降了两个数量级。

CDN能降这么多，原因不复杂：硬件在降价，规模越大单位成本越低，再加上国内五六家大厂互相卷，价格战打到利润很薄。

那AI推理会不会也走这条路？

成本结构不一样

要判断价格走势，得先看成本花在哪里。AI推理跟CDN的成本结构差别很大。

CDN的主要成本是带宽和服务器。加一个节点就是多几台机器加一些带宽，边际成本低。规模越大越便宜。

AI推理的主要成本是GPU。多一倍吞吐就要多一倍GPU，边际成本几乎不变。

# 看一台GPU服务器的成本构成（粗略）

GPU本身占了60-70%，电力和机房占了20-25%，CPU/存储/网络只占一小部分。

CDN的核心资源（带宽）是可以弹性扩展的，用多少付多少。AI推理的核心资源（GPU）是刚性的，买了就在那，用不用都在花钱。

这是最根本的区别。CDN的边际成本趋近于零，AI推理的边际成本居高不下。

GPU成本会不会降

会降，但速度不会像CDN那么快。

能降的理由

硬件迭代在加速。NVIDIA的GPU一代比一代强：

A100（2020）→ H100（2023）：推理性能约2-3倍提升
H100（2023）→ B200（2025）：推理性能预期3-5倍提升

同样的推理任务，用新GPU需要的卡更少，单位成本下降。

推理优化技术也在进步。量化可以把模型显存占用减半甚至减到四分之一。连续批处理可以大幅提升GPU利用率。投机解码可以用小模型加速大模型推理。这些优化叠加起来，同一块GPU上的推理吞吐量能提升好几倍。

竞争在加剧。除了NVIDIA，AMD、Intel、华为昇腾都在做AI芯片。国产芯片在推理场景已经能用了。竞争会压低价格。

不太好降的理由

高端GPU还是供不应求。2024年高端GPU仍然紧俏，溢价是常态。供不应求的市场里价格很难大跌。

电力成本在涨。一台8卡H100满载功耗6kW，一个月电费约4000元。大规模AI集群的建设让电力需求激增，部分地区已经出现电力紧张。电费是刚性成本。

先进制程代工费在涨。台积电3nm/2nm的代工费用一代比一代贵，芯片制造成本在上升。

我个人的判断

分三个阶段说。

短期（1-2年）：还会继续降

国内厂商的价格战还没打完。2024年已经有厂商在亏本卖API了，目的是抢市场。

这个阶段价格还会降，但这种低价是烧钱补贴撑的，不是成本的真实反映。免费额度和超低价都是获客手段，别当成常态。

中期（3-5年）：趋于合理

GPU硬件迭代带来的效率提升，加上推理优化技术的成熟，会让推理成本持续下降。

但降到一定程度会触底，因为GPU制造、电力、机房这些硬成本在那里。

我觉得3-5年后同等能力的推理API价格大约是现在的1/3到1/5。比最初便宜很多，但不是"免费"。

长期：分化

简单的推理任务（文本生成、翻译、摘要）可能会非常便宜，便宜到可以忽略不计。就像现在CDN流量费便宜到很多业务不怎么在意一样。

但复杂推理任务（长上下文、多模态、Agent链式调用）仍然需要大量算力，不会特别便宜。

基础能力普惠化，高端能力仍然不便宜。 类似于现在CDN基础流量很便宜，但实时转码、边缘计算这些增值服务还是收费不低。

对开发者的建议

现在别过度抠Token

API价格还在快速下降通道中。如果你现在花大量时间做极致的Token优化（比如把系统提示词从100个Token压缩到50个），省下来的钱过三个月可能因为降价变得不值一提。

把时间花在产品和用户体验上，比花在抠Token上更值。当然基本的优化还是要做的，上一篇讲的那些方法照着做就行，但不用当成最重要的事。

但要有降级方案

依赖单一厂商是有风险的。价格战阶段厂商可能随时调价，今天免费明天就收费。

做一层抽象，能随时切换模型：

class LLMClient:
    def __init__(self):
        self.providers = {
            "primary": {"base_url": "...", "model": "gpt-4o"},
            "fallback": {"base_url": "...", "model": "deepseek-v3"},
            "cheap": {"base_url": "...", "model": "gpt-4o-mini"},
        }
    
    def call(self, messages, tier="primary"):
        provider = self.providers[tier]
        try:
            return self._do_call(provider, messages)
        except Exception:
            return self._do_call(self.providers["fallback"], messages)