2026年，Cloudflare公布了一个数据：其全球网络上跑的流量，已有约32%（Q1约31.2%）不是真人用户，而是自动化程序——也就是俗称的“机器人”。而这些机器人里，相当一部分是AI公司的爬虫，它们24小时不间断地“翻书”，把全球网页内容抓回去训练大模型。

对CDN节点供应商来说，这意味着一个关键事实：你节点上跑的流量，成分悄然发生了变化。

Part 01 为什么AI公司像“蝗虫”一样爬取互联网？

要理解这个变化，得先明白这些AI爬虫在干什么。简单说，有三个核心动机，可以用三个比喻来理解：

• “喂饱大模型”

像ChatGPT、Claude这样的AI，没有“毕业”的一天。它们要变得聪明、回答准确，就需要持续不断地“吃”进最新的网页、新闻、论文。每一次模型迭代，就是一次全球互联网的“盛宴”。

• “实时查资料”

像Perplexity这类AI搜索引擎，用户每问一个问题，它不像传统引擎只给链接，而是要实时去翻几十个网页，自己读完、理解、组织成答案。一次搜索，背后是几十次后台抓取。

• “百家争鸣”

现在不止OpenAI、Google在做AI。成百上千家AI创业公司都在训练自己的模型，派出的爬虫在同一批热门网站上重复抓取，导致了流量的叠加效应。

这造成了什么结果？一组数据揭示了本质：这些流量是纯消耗，几乎不带来任何商业回报。

根据Cloudflare Radar 2026年Q1的权威统计：
Anthropic（Claude）：每抓取你的网站约2万次，才可能给你导回1个真人访客。其crawl-to-refer比例高达20,583:1。
OpenAI：比例约为1,255:1，同样属于高消耗型。
Perplexity：比例为111:1。在纯AI公司中，这已经算相对温和——因为它做的是AI搜索，必须给用户提供来源链接，所以回流比例远高于训练型爬虫。
Microsoft（Bing）：比例约为32:1。

这意味着，你的节点在耗费资源处理的很大一部分请求，对网站主来说，是只有成本、没有转化的"白嫖"流量。

更关键的是，这些AI爬虫的行为模式与真人用户完全不同：真人倾向于访问热门页面（容易命中缓存），而AI爬虫为了训练模型，会系统性地、顺序地扫描全站所有页面——包括大量冷门、长尾内容。这会导致CDN节点的缓存命中率下降，迫使节点更频繁地回源站拉取数据，进一步增加上游带宽消耗。

Part 02 对节点供应商来说，这意味着什么？

流量成分的变化，正在从需求端重塑CDN行业的底层逻辑。对提供带宽和节点的供应商而言，有几点必须看清：

1、你的带宽，正在被“无价值流量”稀释

以前，CDN节点上跑100G流量，背后大概对应着80G的真人用户（他们在看视频、刷网页、买东西）。现在，同样100G流量里，可能有30G是AI爬虫在“阅读”和“搬运”。（仅作举例，非真实数据）

对网站主来说，这直接导致转化率下降、CDN账单性价比变低。但对我们提供底层管道资源的供应商来说，这意味着客户需求端的“含金量”在悄然变化。单位带宽所能承载的商业价值，正在被AI流量稀释。

2、但注意：总量没有减少，反而在增加

这是一个关键的反直觉点。虽然真人流量的占比被稀释了，但AI爬虫本身带来了巨量的、全新的带宽需求。AI公司对训练数据的渴求是无止境的。

因此，未来3-5年，互联网总带宽需求几乎必然持续增长，因为进入了 “AI流量”与“真人流量”双轨驱动 的时代。你的节点不会因为“没人看视频了”而闲置，反而很可能因为“所有AI公司都在疯狂抓数据”而变得更忙。增量是确定的。

3、流量类型分化，对节点能力提出不同要求

真人用户（看4K视频、玩云游戏）对延迟极度敏感，需要边缘节点就近响应，体验才能流畅。

但很多AI爬虫是“批量下载”行为，它们对延迟不敏感，可以接受从更远、更核心的节点抓取数据。但它们对链路的稳定性、吞吐量和并发处理能力要求极高，不能动不动就断流。

这种分化，可能会让不同地理位置、不同网络层级的节点（如核心骨干节点 vs. 边缘“最后一公里”节点）价值发生分化，采购需求也将随之调整。

Part 03 行业正在怎么应对？

面对成分变化的流量，行业里已经有了一些动作：

• 从“免费”到“收费”

Cloudflare已启动 'Pay-Per-Crawl' 模式的内测（2025年7月推出，目前仍在测试阶段），核心逻辑是：向AI爬虫收费，不再让它们免费搭车。网站主可以设置规则，允许爬虫抓取，但按次数或数据量计费。这意味着CDN平台开始对流量做“精细化运营”，区分“人类流量”和“机器流量”并尝试从中创造新收入。

• 行业集体涨价

2026年，CDN行业已进入涨价周期。领头羊Akamai在续约时对合约附加费用，并提价。这背后既有硬件成本上涨因素，也可能有应对AI流量挤压的考量——在“按GB卖管道”的模式下，海量低价值AI流量会拉低利润率，提价是维持利润的手段。

给上游资源方的启示

当CDN平台开始区分流量成分、并尝试差异化定价和收费时，上游的带宽与节点供应商也需要思考一个新问题：你卖给平台的，到底是"不限成分的混合管道"，还是"有质量区分的带宽产品"？

一个值得观察的趋势是：随着AI流量占比上升，CDN平台未来可能会对承载"低延迟真人流量"的优质边缘节点，与承载"高吞吐AI爬虫流量"的骨干节点，提出不同的采购标准和价格预期。如果这一趋势成真，手里有骨干网资源的供应商可能迎来新的定价逻辑。

结尾

AI爬虫挤占CDN流量，目前仍是行业演进的早期现象。对于节点与带宽供应商来说，无需恐慌，但需要重新评估自己资源的价值锚点。管道里流淌的“水”，成分已经变了。知道自己在输送什么，才能更好地定位自己，迎接正在发生的未来。

参考来源：【深度研究|CDN】三万字 CDN行业深度：一条水管，爬过亿万的龙虾 NET/FSLY/AKAM

---

了解大麦云平台详情，指路：《大麦云平台全新上线！邀您入驻边缘计算节点，开启稳定收益新篇章》