学院 · 审计
如何在 AmICited 中检查 Robots.txt 和 Sitemap 覆盖范围
使用 AmICited 的 Agent Accessibility 审计中的 Robots.txt 和 Sitemap 检查，确认 AI 和搜索引擎爬虫可以读取您的网站，以及您的 sitemap 已被声明且完整。
如果 AI 爬虫无法读取您的网站，那么其他所有优化都无关紧要。Robots.txt 和 Sitemap 检查可确认您关心的爬虫已被允许访问，并且您的 sitemap 确实能引导它们找到您的内容。
Important
robots.txt 中一条过于严格的规则就可能阻止 AI 爬虫访问您的整个网站。这项检查正是您在问题悄然影响引用之前发现它的机会。在哪里找到它
它位于审计 → Agent Accessibility 中的 Robots.txt 和 Sitemap 部分。
它检查什么
正如该部分所述，它检查*“重要的 AI 和搜索引擎爬虫是否被允许读取网站，sitemap 是否已在 robots.txt 中声明，以及这些 sitemap 总共列出了多少条 URL。”* 简而言之：
- 爬虫访问权限 — 主要的 AI 和搜索引擎爬虫是否被允许（而非禁止）访问
robots.txt？ - Sitemap 声明 —
robots.txt中是否引用了 sitemap，以便爬虫能够找到它？ - Sitemap 覆盖范围 — 您的 sitemap 总共列出了多少条 URL。
如何使用
- 确认爬虫已被允许。 如果某个重要的 AI 爬虫被阻止，请修复
robots.txt中的规则——这是该页面上的最高优先级问题。 - 声明您的 sitemap。 确保
robots.txt指向您的 sitemap，以便代理能够发现您所有的页面。 - 检查 URL 数量。 如果 sitemap 列出的 URL 数量远少于您已发布的页面数量，则说明页面未被告知给爬虫。
- 修改后重新检查，并确认就绪摘要中的爬虫访问权限和Sitemap URL 模块已变为健康状态。
爬虫访问权限是一切的基础：请优先确保它正确无误，因为其他所有检查都依赖于爬虫确实能够访问到您的内容。
本节的更多教程
如何在 AmICited 中检查您的核心网页指标
使用 AmICited 中的网页指标审核功能，查看您首页的核心网页指标 —— LCP、INP、CLS、FCP 和 TTFB，数据来自 Chrome 用户体验报告，并与您的竞争对手进行对标。
阅读指南 →
如何在 AmICited 中查看您的智能体可访问性评分
阅读 AmICited 智能体可访问性审核中的智能体就绪摘要 — llms.txt、可访问性、爬虫访问、站点地图、WebMCP 和智能体商务 — 快速了解您的网站为 AI 智能体的就绪程度。
阅读指南 →
如何在 AmICited 中审查你的 llms.txt 文件
使用 AmICited 的「智能体可访问性」审计中的 llms.txt 审查功能，获取并验证你的 /llms.txt 文件——该文件用于告知 AI 智能体如何读取和引用你的网站。
阅读指南 →
准备好付诸实践了吗？
免费检查 · 14天试用 · 无需信用卡