先说结论：如果你有一个公开可访问的网站，大概率正在被 AI 爬虫批量抓取，而你可能完全不知道。

腾讯云 EdgeOne 最近发布了《腾讯云 2025 年 DDoS 与应用安全威胁趋势报告》，里面有一组数据：
● Bot 流量已占全网互联网流量的近四成，AI 爬虫是增长最快的类型
● 一个普通的电商导购站，单日 AI 爬虫请求量接近 20 万次
● 一个技术教程站，单日接近 19 万次
● 一个小说站，单日接近 18 万次

这些不是什么大型互联网平台——就是个人站、小团队的站。而且 AI 爬虫不执行 JavaScript，不会出现在 Google Analytics 或百度统计里。你在数据面板上看不到它们，但你的服务器带宽和算力在真实消耗。

一、先确认：你的站到底有没有被 AI 爬虫抓

在做任何配置之前，先看一眼数据。EdgeOne 控制台的「数据分析」→「指标分析」可以直接看到 Bot 流量的分布。

操作步骤
1.登录 EdgeOne 控制台
2.在左侧导航栏选择你的站点
3.进入「数据分析」→「指标分析」
4.在页面上方筛选你要查看的域名和时间范围（建议先看最近 7 天）
5.关注以下几个维度：
● 请求量趋势：如果请求量远超你的实际用户量，大概率有 Bot
● 客户端类型分布：观察 Bot 类请求的占比
● UA（User-Agent）分布：AI 爬虫通常带有特定的 UA 标识，如 GPTBot、ClaudeBot、Bytespider、CCBot 等

怎么判断

💡 Tip： 如果你发现 Bot 请求占比不低，但在之前的流量统计中从来没注意到——这就对了，因为 AI 爬虫对你的前端统计是"隐身"的。

二、核心操作：一键开启 AI 爬虫处置

确认有 AI 爬虫活动后，接下来开启防护。

2.1 找到配置入口

完整路径：

控制台 → 选择站点 →「安全防护」→「Web 防护」→ 顶部切换到目标域名的域名级防护策略 → 「Bot 管理」→「基础 Bot 管理」」→「AI 爬虫处置」

2.2 开启 AI 爬虫

开启「AI 爬虫处置」，再根据网站情况自行选择处置方式

如果你有不同的网站类型，可以参考以下策略

⚠️ 重要提醒：

• AI 爬虫处置不影响百度蜘蛛、Googlebot 等搜索引擎爬虫——你的 SEO 不会受到任何影响
• 特征库覆盖 20+ 种主流 AI 爬虫，且持续更新
• 所有套餐（含免费版）都能用这个功能

2.3 验证配置生效

配置完成后，验证方式：
1.回到「数据分析」→「指标分析」
2.筛选配置后的时间段
3.观察 Bot 请求量的变化趋势

💡 Tip： 建议先用「观察」模式运行 1-3 天，确认识别范围符合预期后再切换为「拦截」。这样可以避免误伤。

三、进阶操作：用安全配置指引做安全加固

AI 爬虫处置解决的是"已知 AI 爬虫"的问题。但你的站可能还面临其他安全威胁——异常高频访问、恶意扫描、CC 攻击试探等。

EdgeOne 提供了一套从「发现问题 → 定位特征 → 创建规则」的完整流程

3.1 用指标分析定位可疑流量

操作路径： 控制台 →「数据分析」→「指标分析」

在这个页面上，你可以按多个维度下钻分析流量：

3.2 从指标分析直接创建自定义规则

这是整个流程中最省力的一步——EdgeOne 支持从指标分析页面直接跳转到规则配置页，匹配条件自动带入。

操作步骤：
1.在指标分析页面看到可疑流量特征时，选中域名和 Path
2.点击「创建自定义规则」，匹配条件自动带入规则配置页，无需手动填写

注：当前支持转化为配置的筛选条件为：Host、URL Path，后续会支持更多维度筛选条件，敬请期待。

四、不同站点类型的推荐配置方案

针对不同类型的站点给一个推荐配置参考：

📝 内容站 / 博客 / 技术社区
核心诉求： 保护原创内容不被 AI 抓取，同时保留搜索引擎收录

💡 关于 robots.txt 的补充： robots.txt 对正规搜索引擎有约束力，但对 AI 爬虫只是"建议"——部分 AI 爬虫不遵守。所以 robots.txt 是辅助手段，真正的防护要靠平台侧的识别和拦截。EdgeOne 的 AI 爬虫处置不依赖 robots.txt，是通过特征库在请求层直接识别的。

🛒 电商 / 导购站
核心诉求： 保护价格数据和商品信息，防止被批量抓取

🔧 在线工具站 / API 服务
核心诉求： 防止 API 被滥用、节省调用配额

🌐 产品官网 / 营销页
核心诉求： 希望被 AI 索引和引用，增加曝光

五、配置后的效果验证和持续优化

配置完成不是终点。建议养成定期检查的习惯：

定期查看项

误拦截怎么办
如果发现正常用户被拦截：
1.在拦截日志中找到对应的请求记录
2.分析命中了哪条规则
3.调整规则的匹配条件（放宽条件或添加白名单）
4.如果是 AI 爬虫处置误判，可以通过自定义规则对特定 UA 设置放行

六、完整威胁数据

本文的操作教程基于《腾讯云 2025 年 DDoS 与应用安全威胁趋势报告》中的数据背景。完整报告还包含：
● 📊 DDoS 攻击全年趋势——攻击峰值突破 4 Tbps，同比增长近 3 倍
● 📊 HTTP/S 应用层攻击模式转变——从小规模试探到超大规模集中爆发
● 📊 Bot 与 AI 爬虫威胁全景——流量占比、行业对比、技术演进
● 📊 各行业安全威胁对比——游戏、电商、内容、政务等行业的差异化分析
● 📊 EdgeOne 完整安全防护方案

报告以长图形式呈现，包含数十张数据图表和行业深度分析。
👉免费获取完整报告