目录

要点总结

LLMs.txt是什么？

为什么 LLMs.txt 现在被列为优先事项？

LLMs.txt 的工作原理

它所在的地方

你能控制什么

当前尊重它的爬虫

LLMs.txt 与 Robots.txt：有什么区别？

是否应该将LLMs.txt用于SEO？

谁真的需要LLM.txt？

如何设置 LLMs.txt 文件

1. 创建文件

2. 添加机器人指令

3. 上传到根目录

4. 监控人工智能爬虫活动

常见问题解答

LLMs.txt是什么？

ChatGPT 是否使用 LLMs.txt？

如何创建 LLMs.txt 文件？

结论

要点总结

• LLMs.txt 文件有助于提供一些指导，说明 GPTBot、ClaudeBot 和 Google-Extended 等 AI 爬虫如何使用您的内容进行模型训练。
• 它的功能与 robots.txt 类似，但侧重于 AI 数据的使用，而不是传统的爬虫和索引，而且规则不会 100% 被遵守。
• 主要 LLM 提供商正在迅速采用 LLMs.txt，从而为知情同意创建更清晰的标准。
• 允许访问可能会增强您在人工智能生成的答案中的影响力；阻止访问可以保护专有材料。
• LLMs.txt 文件目前不会影响排名，但它们有助于确定您在新兴 AI 搜索生态系统中的地位。

大多数网站所有者并未意识到大型语言模型 (LLM) 已经收集了他们网站内容的多少。除非您另行指定，否则 ChatGPT、Claude 和 Gemini 等工具都会从公开页面抓取内容。而 LLMs.txt 文件正是 SEO 优化工具的用武之地。LLMs.txt

文件提供了一种更直接的方式来告诉 AI 爬虫如何使用您的内容。它不会改变网站排名，但它为模型训练增加了一层控制，这是以前所不具备的。

这一点至关重要，因为如今人工智能生成的答案在搜索结果中占据了越来越多的空间。除非您明确选择退出，否则您的内容可能会被用于生成这些答案。LLMs.txt 文件提供了明确的规则，规定了哪些内容允许，哪些内容禁止，让您在这个快速发展却鲜少受到网站所有者影响的领域中拥有更大的话语权。

无论你允许还是限制访问，拥有 LLMs.txt 文件都会为管理你的内容在 AI 驱动的体验中的显示方式设定一个基准。

LLMs.txt是什么？

LLMs.txt 是一个简单的文本文件，您需要将其放置在网站根目录下，以指示 AI 爬虫如何与您的内容交互。如果 robots.txt 指导搜索引擎爬虫，那么 LLMs.txt 则指导 LLM 爬虫。它的目的是定义您的公开内容是否会成为 ChatGPT、Claude 或 Gemini 等模型训练数据集的一部分。它并非直接命令，而更像是一种建议。

文件内容如下：

• 每个AI爬虫的访问权限
• 特定内容是否可用于训练
• 您的网站如何参与人工智能生成的答案
• 数据共享规则的透明文档

这项协议的存在是因为人工智能公司会大规模收集训练数据。除非您明确选择退出，否则您的内容可能已经出现在数据集中。LLMs.txt 增加了一个之前不存在的同意层，让您可以直接表达自己的界限。

为了应对人们对数据所有权和未经授权使用数据的日益关注，OpenAI、Anthropic 和 Google 推出了对 LLMs.txt 的支持。虽然目前尚未普及，但随着越来越多的组织要求明确人工智能访问权限，其应用势头正在迅速增长。

LLMs.txt 并不会取代robots.txt，因为这两个文件负责不同的职责。robots.txt 管理搜索引擎的抓取行为，而 LLMs.txt 则影响 AI 模型的训练权限。它们共同帮助您保护内容、定义可见性规则，并为 AI 驱动的搜索持续发展的未来做好准备。LLMs.txt 并不能完全控制 LLM 如何与您的页面交互，但确实会产生影响。

为什么 LLMs.txt 现在被列为优先事项？

模型开发者收集了海量数据集，其中大部分来自公开内容。OpenAI 在 2023 年推出 GPTBot 时，也同时提供了网站选择退出的途径。谷歌随后推出了 Google-Extended，允许发布商限制其内容被用于 AI 训练。Anthropic 和其他公司也很快实现了类似的机制。

您是否正在使用谷歌广告？试试我们的免费广告评分工具！

别再浪费钱了，释放你广告的潜在价值！

• 探索精准广告的力量。
• 触达您的理想目标受众。
• 最大限度地提高广告支出效率。

这一转变之所以重要，原因只有一个：除非你明确声明并非如此，否则你的内容可能已经成为人工智能生态系统的一部分。

LLMs.txt 正在成为一种标准，因为网站所有者希望明确这一点。直到最近，还没有正式的方法来表达您的内容是否可以在模型训练流程中被重新利用。现在，您只需一个文件即可影响这一选择。

还有另一个角度。生成式搜索工具越来越依赖训练数据来生成答案。如果您屏蔽人工智能爬虫，您的内容可能不会出现在这些搜索结果中。如果您允许访问，您的内容就有资格在对话式回复中被引用，这与品牌如何制定LLM SEO策略密切相关。

两种方法都不适合所有人。有些公司希望加强内容管控，而另一些公司则希望在人工智能驱动的领域拥有更高的可见度。LLMs.txt 可以帮助您设定立场，而不是采用默认立场。

随着人工智能搜索的日益普及，LLMS.txt 文件的重要性也与日俱增。您可以随时调整其中的指令，但该文件的存在能让您更好地掌控当前内容的使用方式。

LLMs.txt 的工作原理

LLMs.txt 是一个位于您域名根目录的纯文本文件。支持该协议的 AI 爬虫会读取此文件，以了解它们可以使用您网站的哪些内容。您可以设置规则，上传一次文件，然后随时根据策略变化进行更新。

它所在的地方

LLMs.txt 必须放置在：

yoursite.com/llms.txt

这与 robots.txt 的结构一致，确保爬虫程序能够预测其行为。所有受支持的 AI 机器人都会检查这个位置来查找你的规则。它必须位于根目录才能正常工作，子文件夹将无法识别。

来源

该文件有意公开。任何人都可以通过直接访问URL查看。这种透明性使得人工智能公司、研究人员和合规团队能够了解您设定的偏好。

你能控制什么

在 LLMs.txt 文件中，您可以为各个 AI 爬虫指定允许或禁止指令。例如：

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Allow: /

您可以授予所有权限或阻止所有访问。此文件使您可以精细控制公共内容如何流入 AI 训练数据集。

当前尊重它的爬虫

一些主流的AI爬虫程序已经能够自动检查LLM.txt文件：

• GPTBot（OpenAI） ——支持选择加入和选择退出训练规则
• **Google-Extended——**用于谷歌的生成式人工智能系统
• ClaudeBot（Anthropic） ——遵循站点级指令
• CCBot（通用爬虫） ——为许多模型使用的数据集做出贡献
• PerplexityBot ——2024 年的早期采用者

整个行业对此的支持程度不一，但方向很明确：越来越多的爬虫程序开始采用 LLMs.txt 作为帮助训练用户同意的标准化方法。

LLMs.txt 与 Robots.txt：有什么区别？

Robots.txt 和 LLMs.txt 的用途互补但又不同。

robots.txt 文件控制着传统搜索引擎爬虫如何访问和索引您的内容。它主要关注搜索引擎优化 (SEO)：包括内容的可发现性、抓取预算以及页面在搜索结果中的显示方式。

相比之下， LLMs.txt 文件会影响 AI 模型如何使用您的内容进行训练。这些指令旨在告知模型爬虫是否可以读取、存储和学习您的网页内容。

它们的区别如下：

• 不同的爬虫： Googlebot 和 Bingbot 遵循 robots.txt；GPTBot、ClaudeBot 和 Google-Extended 读取 LLMs.txt。
• 不同的结果： robots.txt 影响排名和索引。LLMs.txt 影响您的内容在生成式人工智能系统中的显示方式。
• 风险与回报各不相同： robots.txt 会影响搜索可见性。LLMs.txt 会影响品牌在 AI 生成的答案中的曝光度，以及您对专有内容的控制权。
• 控制级别不同： Robots.txt 是一条 100% 执行的指令，而 LLMS.txt 则不会 100% 执行任何指令。

随着搜索方式向融合人工智能和传统搜索结果的方向转变，这两个文件正变得日益重要。随着人工智能驱动的发现功能不断扩展，您可能需要它们协同工作。

是否应该将LLMs.txt用于SEO？

LLMs.txt 文件目前并不能直接提升排名。搜索引擎不会将其用于 SEO 目的。然而，它会影响您的内容在搜索结果中的排名，而这一点至关重要。

允许人工智能爬虫抓取内容可以为模型提供更多上下文信息，从而提高您的内容出现在合成答案中的概率。阻止爬虫可以保护专有或敏感内容，但也会使您无法与人工智能互动。

你的做法取决于你的目标。注重覆盖面的品牌通常会允许访问。而注重独特性或知识产权保护的品牌通常会限制访问。

LLMs.txt 也非常适合与精心设计的LLM 优化工作配合使用。清晰、有力且与上下文相关的结构化内容有助于模型更准确地解读您的材料。LLMs.txt 的作用仅仅是告知模型是否被允许从中学习。

“LLMs.txt 文件目前不会直接影响排名，但它们会为你的内容如何与人工智能系统交互设定早期规则。你可以把它想象成早期的 robots.txt 文件：现在影响不大，但以后会成为基础。” NP Digital 的高级 SEO 经理 Anna Holmquist 解释道。

谁真的需要LLM.txt？

有些网站比其他网站更能从早期采用 LLMs.txt 中受益。

• 内容丰富的网站：
  出版商、教育工作者和文档库通常更喜欢围绕人工智能系统如何重用其内容来构建结构。
• 拥有专有材料的品牌
  如果您的收入依赖于高级报告、付费内容或专门的数据集，LLMs.txt 可提供必要的保护层。
• SEO 人员在为 AI 搜索做准备
  时，随着生成式搜索结果越来越普遍，品牌希望能够控制内容如何推送至这些答案引擎。LLMs.txt 可以帮助设定限制，同时又不影响内容的可见性。
• 医疗保健、金融和法律等行业对合规性有较高要求，因此通常需要制定严格的数据处理规则。屏蔽人工智能爬虫也成为其治理措施的一部分。

LLMs.txt 文件不会让你被长期决策所束缚。你可以随着 AI 搜索技术的演进而更新它。

如何设置 LLMs.txt 文件

设置 LLMs.txt 文件很简单。以下是具体步骤。如果您需要帮助，可以使用一些工具和生成器。

来源

1. 创建文件

打开纯文本编辑器，创建一个名为llms.txt的新文件。

为了更清晰地说明问题，请在顶部添加注释：

# LLMS.txt — AI爬虫访问规则

2. 添加机器人指令

定义哪些网络爬虫可以读取和训练您的内容。例如：

用户代理：GPTBot
禁止访问：/

用户代理：Google-Extended
允许访问：/

您可以全局开启或关闭访问权限：

用户代理：*
禁止：/

或者：

用户代理：*
允许：/

3. 上传到根目录

请将文件放置在：

yoursite.com/llms.txt

爬虫程序需要此位置才能检测到它。子文件夹不起作用。

4. 监控人工智能爬虫活动

查看服务器日志以确认以下活动：

• GPTBot
• ClaudeBot
• Google 扩展
• 困惑机器人
• CCBot

这有助于您验证您的指令是否按预期运行。

常见问题解答

LLMs.txt是什么？

这是一个告知人工智能爬虫如何训练抓取你的内容的文件。它类似于 robots.txt，但专为 LLM 设计，而且并非绝对规则。

ChatGPT 是否使用 LLMs.txt？

是的。OpenAI 的 GPTBot 会检查 LLMs.txt 文件，并遵循你所指定的规则。

如何创建 LLMs.txt 文件？

创建一个纯文本文件，添加爬虫规则，然后将其上传到你网站的根目录。可以参考上面的示例来设置你的指令。

结论

LLMs.txt 为发布者提供了一种影响其内容与 AI 训练系统交互方式的方法。随着 AI 搜索的扩展，制定明确的规则有助于保护您的作品，同时让您掌控品牌在模型生成的答案中的呈现方式。

此文件可与更强大的LLM SEO策略完美配合，帮助您在AI驱动的环境中塑造内容的发现方式。如果您已经在改进内容结构以提升模型理解能力，LLMs.txt 也能与您正在进行的LLM优化工作无缝衔接。