AI 机器人正在抓取我们的网站，但没有被引用。我该如何调试抓取问题？

让我来帮你调试。抓取 ≠ 引用。以下是诊断框架：

第 1 步：确认抓取器实际看到的内容

用 AI User-Agent 运行 curl：

curl -A "GPTBot" -s https://yoursite.com/page | head -100

检查：

• 是否完整内容都出现？
• 有无 meta robots 或 X-Robots-Tag header？
• 内容是否在 HTML 中，无需 JS 执行？

第 2 步：检查隐藏的阻碍因素

常见问题：

• noindex meta 标签（阻止索引）
• X-Robots-Tag: noindex header
• canonical 指向其他页面
• 内容通过 JavaScript 在页面加载后才出现
• 登录/付费墙检测，对爬虫返回不同内容

第 3 步：内容质量检查

如果抓取没问题，问题就在内容上：

• 是否真正独特，还是常见内容的变体？
• 是否为 AI 提取做了结构化？
• 是否有权威信号（作者、引用）？
• 是否够全面，能成为该主题的权威来源？

我最常见到的问题：

技术抓取没毛病，内容本身不值得被引用。抓取器访问了，但 AI 系统会选择更好的来源。

“可访问”与“可引用”之间的差距在于内容质量和结构，而不仅仅是技术可访问性。

我分析 AI 抓取器日志的方法：

AI 抓取器日志分析：

# 查找所有 AI 抓取器的访问记录
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# 检查状态码
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# 查看被抓取最多的页面
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

需要关注的点：

1. 状态码

   • 200：正常，内容被抓取
   • 301/302：重定向——检查最终落点
   • 403/404：有问题——需立即修复
   • 500：服务器错误——需调查

2. 抓取模式

   • 哪些页面被抓取最多？
   • 你的重点页面有被访问吗？
   • 是否有页面从未被抓取？

3. 抓取频率

   • GPTBot：通常每天多次
   • PerplexityBot：非常频繁（实时搜索）
   • 若数周没访问，检查 robots.txt

常见日志问题：

• CDN 隐藏真实 User-Agent
• 负载均衡器剥离 header
• 日志轮转导致抓取记录丢失

确保你看到的是原始、未过滤日志。

既然你已确认技术可访问性，那我讲讲内容方面：

AI 抓取但不引用的原因：

1. 内容太通用 “5 个提高邮件营销的建议”——这类内容有一万篇。AI 只引用最好的。

2. 没有可提取的答案 叙述性内容没有明确结论，AI 难以引用。

3. 信息过时 如果你的内容写的是“2023 趋势”，AI 可能偏向最新来源。

4. 权威信号弱 无作者、无来源引用、无资质展示。

5. 结构不佳 AI 需要清晰分区，方便解析。纯流水文难以提取。

诊断测试：

自问：如果我是 AI 只能引用一个来源，我会选自己的内容还是竞争对手的？

要诚实。对手比你多了什么？

通常是：

• 覆盖更全
• 结构更利于提取
• 权威信号更强
• 信息更及时

提升这些，引用自然来。

关于 JavaScript 渲染的技术细节：

即便主要内容是服务器渲染，也要检查：

1. 懒加载内容区块 重要内容在首屏下方，可能在初始渲染后才加载。

// 这部分内容可能爬虫看不到
<div data-lazy="true">重要内容在这里</div>

2. 交互元素隐藏内容 Tabs、手风琴、可展开区块，可能让 AI 无法访问内容。

3. JavaScript 生成结构化数据 如果 schema 通过 JS 注入，抓取器可能看不到。

测试工具：

Google 移动友好性测试会显示渲染后的 HTML： https://search.google.com/test/mobile-friendly

对比这里看到的内容与你实际页面。任何差异都可能导致可见性问题。

快速排查：

禁用 JavaScript 查看页面。能看到的就是抓取器一定能看到的。如果关键内容不见了，问题就在这里。

阻碍引用的 schema 问题：

即使内容可见，错误的 schema 也会影响你：

1. 无效的 schema 标记 用 Google 富结果测试验证。无效 schema 可能被直接忽略。

2. 缺失 schema 没有 Organization、Article 或 FAQ schema，AI 只能猜你的内容类型。

3. 冲突的 schema 有多个 Organization schema 且信息不同，AI 不知信哪个。

如何测试：

# 抓取并检查 schema
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

然后在这里验证每个 schema 块： https://validator.schema.org/

常见 schema 错误：

• 缺少 @context
• 错误的 @type
• 日期格式无效
• URL 字段没 http/https
• 缺少必填属性

修正 schema 错误。AI 系统解析 schema 来理解内容。schema 有误＝内容不清晰。

这个帖子让我意识到：问题不在技术层面。

我做过的测试：

• 用 AI User-Agent 的 curl：内容渲染正常
• 没有任何 noindex 标签
• schema 校验通过
• JavaScript 没有隐藏关键内容
• 日志显示抓取器定期访问且返回 200

与被引用竞争对手对比后发现：

他们的内容有：

• 首段直接给出答案（我们把答案埋得很深）
• 带 schema 的 FAQ 区块（我们都没有）
• 带资质的作者简介（我们的很普通）
• 对比表格（我们全是叙述段落）
• 有更新时间（我们 18 个月没动过）

我的行动计划：

1. 不再调试技术问题（根本不是问题）
2. 聚焦内容质量和结构
3. 增加带 schema 的 FAQ 区块
4. 重构为直接给出答案
5. 增加作者资质信息
6. 更新陈旧内容

核心认识：

抓取没问题 + 没被引用＝内容质量/结构问题，而非技术问题。

我一直在调错层面。谢谢大家！