有人真的为 AI 爬虫配置过 robots.txt 吗？网上的指导五花八门

我为大约 40 个企业网站管理 robots.txt。实际影响如下：

一级 - 必须配置：

• GPTBot - OpenAI 的训练爬虫
• ChatGPT-User - ChatGPT 浏览模式
• ClaudeBot - Anthropic 的爬虫
• Google-Extended - Google Gemini 训练
• PerplexityBot - Perplexity 的索引爬虫

二级 - 可考虑配置：

• anthropic-ai - Anthropic 备用爬虫
• OAI-SearchBot - OpenAI 的搜索索引爬虫
• CCBot - Common Crawl（被许多 AI 公司使用）

我们的做法：

User-agent: GPTBot
Allow: /blog/
Allow: /resources/
Disallow: /pricing/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /

重点提示：PerplexityBot 我总是全允许，因为它真的会用链接引用你的页面。屏蔽它只会让你错失机会，没任何好处。

我们去年因为“内容保护”建议，把所有 AI 爬虫都屏蔽了，结果是个大错误。

发生了什么：

• 自然流量没变（谷歌不在乎 AI 爬虫的屏蔽）
• 但客户开始问“为什么我在 ChatGPT 里搜行业信息找不到我们？”
• 允许爬虫的竞争对手却被频繁提及

现在我们已经改回允许所有主流 AI 爬虫。“保护”其实没什么意义，因为：

1. 训练数据早已被收集
2. 屏蔽实时访问只会让我们变得隐形
3. 没有证据表明屏蔽能带来任何实际的保护

唯一的例外是真正的专有内容放在认证后——这些页面本来也已经禁止抓取了。

从高度监管行业（医疗科技）的角度来说不太一样。

我们确实有合理理由控制 AI 访问某些内容：

• 与患者相关的文档
• 被误索引的内部流程文件
• 价格和合同条款

我们的做法：

我们建立了分级系统：

1. 公共营销内容 - 允许所有 AI 爬虫
2. 产品文档 - 允许，但通过 Am I Cited 监控被引用情况
3. 敏感业务内容 - 禁止所有爬虫
4. 内部页面 - 禁止并加认证

关键在于有意识地管理。“全屏蔽”和“全放开”都是偷懒做法。梳理你的内容，明白每类内容对你的价值，再做针对性配置。

有个经验教训，花了我很久才弄明白：

要用真实的爬虫 User-Agent 测试你的 robots.txt。

我以为自己配置没问题，直到查服务器日志发现有些 AI 爬虫没匹配到规则，结果是我把 User-Agent 名写错了。

“GPT-Bot” 和 “GPTBot” 是两回事——你猜我错写了哪个，整整三个月！

用谷歌的 robots.txt 测试工具或者命令行工具，检查每条规则是否真的匹配。

我对大多数企业的标准建议是：

默认允许，针对性限制。

只有极少数公司适合屏蔽：

• 担心被 AI 总结的高端内容出版商
• 拥有真正专有技术内容的企业
• 正在与 AI 训练有法律纠纷的机构

对于其他公司，答案很简单：AI 曝光是越来越重要的流量来源。 仅 Perplexity 每月就有 2 亿+ 查询。在那里隐形会是战略劣势。

我给客户的标准配置是：

# 允许所有 AI 爬虫抓取公开内容
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

# 限制敏感区域
Disallow: /admin/
Disallow: /internal/
Disallow: /api/

有件事大家都没提：配置好后要监控实际效果。

我在分析工具里设置了 AI 机器人访问的告警，发现了有趣的规律：

• GPTBot 每天大约访问 500 次
• PerplexityBot 大约 200 次/天
• ClaudeBot 居然最少，大约 50 次/天

这些数据让我了解哪些 AI 平台真正会索引我们的内容。结合 AI 引用监控工具，我可以完整看到允许 robots.txt > AI 爬取 > AI 引用 的全流程。

没有这些监控，你只能凭感觉猜效果。

媒体出版视角。我们是一个有一万多篇文章的新闻/分析网站。

我们踩过的坑：

屏蔽 AI 爬虫带来了意想不到的坏处：

1. 我们的文章不再出现在行业话题的 AI 生成摘要里
2. 允许爬虫的竞争对手成了“权威来源”
3. 用户向 ChatGPT 询问我们报道时，AI 说无法访问我们的内容

“保护”其实默认 AI 会偷内容，但现实是 AI 会引用并带来流量。屏蔽只会让你被排除在外。

现在我们已全允许 AI 爬虫，并用 Am I Cited 监控被引用情况。AI 引荐流量自此增长了 340%。

这个讨论太有帮助了。根据大家的建议，我的执行计划总结如下：

立即调整：

1. 允许所有主流 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot、Google-Extended）抓取公开内容
2. 明确禁止敏感路径（目前是 /admin、/internal、/pricing）
3. 修正当前配置里的拼写错误（虽然尴尬但必须做）

监控措施： 4. 增加服务器日志追踪 AI 机器人访问 5. 配置 Am I Cited 跟踪实际引用 6. 30 天后回顾效果

对我来说最重要的认知是：屏蔽并不能保护已经进入训练数据的内容——只会影响未来的可见性。而 AI 搜索增长如此迅速，可见性比“保护”更有意义。

感谢大家分享的真实配置和经验。