So überprüfen Sie die Robots.txt- und Sitemap-Abdeckung in AmICited

Wenn KI-Crawler Ihre Website nicht lesen können, sind all Ihre anderen Optimierungen vergeblich. Die Robots.txt- und Sitemap-Überprüfung bestätigt, dass die für Sie relevanten Crawler zugelassen sind – und dass Ihre Sitemaps sie tatsächlich zu Ihren Inhalten führen.

Wo Sie es finden

Es befindet sich im Bereich Robots.txt & Sitemaps unter Audit → Agent Accessibility.

Was geprüft wird

Wie der Abschnitt erklärt, wird untersucht, ob die wichtigen KI- und Such-Crawler die Website lesen dürfen, ob Sitemaps in der robots.txt deklariert sind und wie viele URLs diese Sitemaps insgesamt auflisten. Kurz gesagt:

• Crawler-Zugriff – sind die wichtigsten KI- und Such-Bots in der robots.txt erlaubt (nicht ausgeschlossen)?
• Sitemap-Deklaration – wird in der robots.txt auf eine Sitemap verwiesen, damit Crawler sie finden können?
• Sitemap-Abdeckung – wie viele URLs Ihre Sitemaps insgesamt auflisten.

Wie Sie es nutzen

1. Bestätigen Sie, dass Crawler zugelassen sind. Wenn ein wichtiger KI-Bot blockiert ist, korrigieren Sie die robots.txt-Regel – dies hat die höchste Priorität auf der Seite.
2. Deklarieren Sie Ihre Sitemap. Stellen Sie sicher, dass die robots.txt auf Ihre Sitemap verweist, damit Agenten alle Ihre Seiten entdecken können.
3. Überprüfen Sie die URL-Anzahl. Eine Sitemap, die weit weniger URLs auflistet als Sie veröffentlicht haben, bedeutet, dass Seiten nicht bei Crawlern beworben werden.
4. Überprüfen Sie nach Änderungen erneut und bestätigen Sie, dass die Kacheln Crawler-Zugriff und Sitemap-URLs in der Bereitschaftszusammenfassung grün anzeigen.

Der Crawler-Zugriff ist die Grundlage: Stellen Sie dies zuerst richtig, denn alles andere setzt voraus, dass die Bots Ihre Inhalte tatsächlich erreichen können.