我应该在 robots.txt 允许哪些 AI 爬虫？GPTBot、PerplexityBot 等

这是详细的分析：

主流 AI 爬虫及其用途：

我对大多数 B2B 网站的建议：

全部允许。

原因：

1. AI 可见性带来优质流量
2. 被引用提升品牌权威
3. 屏蔽会让你处于竞争劣势
4. “内容盗用”更多是理论上的担忧

何时适合屏蔽：

• 你有付费/专有内容
• 正在进行内容授权谈判
• 有具体法律要求
• 不希望共享的竞争情报

给法务团队的话： “我们的内容已经公开。屏蔽 AI 爬虫只会让我们失去被引用的机会，而不是阻止内容被阅读。允许访问的竞争对手会获得我们失去的可见性。”

帮你和法务沟通：

法务的担忧（合理但有些误区）：

1. “他们未经许可使用我们的内容”
2. “我们失去了对内容用途的控制”
3. “如果 AI 误读我们内容会不会有法律责任”

回应：

1. 内容使用： 我们的内容本就是公开的。robots.txt 只是请求，不是法律屏障。训练集收录的数据在我们屏蔽前就已存在。现在屏蔽不会清除既有数据。

2. 控制权： 我们从未真正控制过公开内容的用途。AI 引用和被文章引用没有本质区别。我们需要被引用——那是可见性。

3. 法律责任： AI 平台对其输出负责。没有司法判例认为被引用来源要负责任。不被引用并不能保护我们，只会让我们“隐身”。

业务考量：

• 屏蔽：失去可见性，保护不了什么
• 允许：获得可见性，没有新增风险

建议政策措辞： “我们允许 AI 爬虫访问，以最大化公开内容的可见性。如内容授权政策变化，我们保留调整权利。”

这样法务有了书面政策，同时确保你们保持可见。

你可以不用“全开”或“全关”，可以选择性屏蔽：

屏蔽特定路径，允许其它部分：

User-agent: GPTBot
Disallow: /premium/
Disallow: /members-only/
Disallow: /proprietary-data/
Allow: /

User-agent: PerplexityBot
Disallow: /premium/
Allow: /

选择性屏蔽场景：

• 付费内容区
• 已有访问门槛的资源
• 不希望被分析的竞争情报
• 定价/内部策略文档（本就不该公开）

我们这样做：

• 90% 网站允许爬虫
• 付费内容区屏蔽
• 内部文档区屏蔽
• 营销/SEO 内容全部开放

好处： 你可以在想要的地方获得 AI 可见性，保护敏感区域，也让法务有话可说。

如何查看哪些爬虫实际访问你的网站：

日志分析方法：

关注这些 User-Agent 字符串：

• GPTBot/1.0 - OpenAI 训练
• ChatGPT-User - 实时浏览
• PerplexityBot - Perplexity
• Google-Extended - Gemini
• ClaudeBot/1.0 - Anthropic

我们网站上的情况：

• PerplexityBot：最活跃（每日 500+ 次）
• GPTBot：周期性全面抓取
• ChatGPT-User：用户查询时触发
• Google-Extended：遵循 Googlebot 规则
• ClaudeBot：较少见

结论： PerplexityBot 最为激进，因为它实时抓取。GPTBot 频率较低但更全面。

监控建议： 建立仪表盘，跟踪 AI 爬虫访问频次。这样可了解哪些平台在关注你的内容。

除了大牌，还有这些 AI 相关爬虫：

值得注意的其它爬虫：

关于 Common Crawl： CCBot 收集的数据会进入很多 AI 训练集。有人认为屏蔽 CCBot 比单独屏蔽 AI 爬虫更有效。

我的观点：

• 想减少训练收录可屏蔽 CCBot
• 允许特定 AI 爬虫以获得实时可见性
• 这样既能保护训练集，又有实时曝光

实际情况： 如果你的内容已公开多年，已经进了训练数据。这些决策只影响未来，不影响历史。

还有一点没人提：爬虫对网站性能的影响。

我们的观察：

• PerplexityBot：有时抓取很猛（有时需要限速）
• GPTBot：一般很遵守抓取延迟
• ChatGPT-User：很轻量（用户查询才触发，不批量）

如果遇到性能问题：

用 robots.txt 设置 crawl-delay：

User-agent: PerplexityBot
Crawl-delay: 10
Allow: /

这样能减慢爬虫速度，而不是直接屏蔽。

限速建议：

• 对激进爬虫设置 crawl-delay
• 监控服务器负载
• 按需调整

限速不等于屏蔽： 减速是保护服务器， 屏蔽则会丧失 AI 可见性。

目标不同，方案不同。

从竞争角度看：

你屏蔽而竞争对手不屏蔽会怎样：

• 他们出现在 AI 答案里，你没有
• 他们获得品牌曝光，你没有
• 他们获得 AI 推荐流量，你没有
• 他们建立 AI 权威，你没有

如果大家都屏蔽：

• AI 系统会找别的来源
• 没人得益，但也没人吃亏

现实是： 大多数公司并没有屏蔽。竞争劣势真实且直接。

博弈论角度： 如果竞争对手都开放，你也应该开放。对于竞争性查询，可见性是零和博弈。

检查竞争对手：

1. 看他们 robots.txt
2. 测试他们是否出现在 AI 答案中
3. 如果有，你屏蔽就等于落后

我分析的大多数 B2B 公司：都允许 AI 爬虫。

这让我有了决策依据。以下是我给领导层的建议：

建议的 robots.txt 策略：

允许：

• GPTBot（ChatGPT 训练）
• ChatGPT-User（实时浏览）
• PerplexityBot（实时抓取）
• Google-Extended（Gemini 训练）
• ClaudeBot（Claude 训练）
• Applebot（Siri）

选择性屏蔽路径：

• /internal/
• /drafts/
• /admin/

给法务团队的话：

“我们建议允许 AI 爬虫访问，原因如下：

1. 我们的内容本就公开
2. 屏蔽只会让我们失去可见性，并不能阻止内容被使用
3. 允许访问的竞争对手会占据我们的市场地位
4. 已经进训练集的内容不会因屏蔽而消失

我们已对本不应公开的内部内容实施选择性屏蔽。

我们将用 Am I Cited 监测可见性，若内容授权框架变化将再评估。”

下一步：

1. 实施更新后的 robots.txt
2. 建立 AI 可见性监控
3. 每季度汇报可见性变化
4. 每年重新评估政策

感谢大家——这正是我需要的参考。