So überprüfen Sie die Robots.txt- und Sitemap-Abdeckung in AmICited

Wenn KI-Crawler Ihre Website nicht lesen können, sind all Ihre anderen Optimierungen vergeblich.

Was ist robots.txt, und warum entscheidet sie darüber, ob KI Sie überhaupt sieht?

Robots.txt ist eine reine Textdatei, die im Root Ihrer Domain liegt (ihreseite.de/robots.txt) und Crawlern mitteilt, welche Teile Ihrer Website sie anfragen dürfen. Sie existiert schon Jahrzehnte vor dem KI-Boom – ursprünglich wurde sie eingeführt, damit Suchmaschinen-Bots wie Googlebot keine Zeit damit verschwenden, Admin-Seiten, Staging-Umgebungen oder doppelte Inhalte zu crawlen. Doch derselbe Mechanismus regelt heute eine Entscheidung mit weit höherem Einsatz: ob GPTBot, ClaudeBot, PerplexityBot, Google-Extended und die anderen KI-Crawler, die die heutigen Antwortmaschinen füttern, Ihre Seiten überhaupt abrufen dürfen.

Jeder wohlerzogene Crawler prüft robots.txt, bevor er irgendetwas anderes anfragt. Die Datei ist in Blöcke gegliedert, die jeweils mit einer User-agent-Zeile beginnen, die einen bestimmten Bot benennt (oder * für alle Bots), gefolgt von Allow- und Disallow-Regeln, die festlegen, welche Pfade dieser Bot abrufen darf oder nicht. Eine einzige pauschale Regel wie Disallow: / unter User-agent: GPTBot reicht aus, um diesen Crawler von Ihrer gesamten Website auszuschließen – und er wird in den Zitierungen von ChatGPT nicht auftauchen, egal wie gut Ihre Inhalte sind. Deshalb wird Crawlability – die allgemeine Eigenschaft, dass eine Website für Bots technisch erreichbar ist – als Grundlagenebene der KI-Suchsichtbarkeit behandelt und nicht als nachträglicher Gedanke.

Robots.txt hat außerdem eine zweite Aufgabe: Hier suchen Crawler in der Regel nach einem Hinweis auf Ihre Sitemap, über eine Sitemap:-Anweisung. Eine XML-Sitemap ist eine strukturierte Liste der URLs Ihrer Website, die Crawler kennen sollen, oft inklusive Metadaten wie Datum der letzten Änderung. Während robots.txt die Erlaubnis steuert, steuert die Sitemap die Auffindbarkeit – sie ist die Karte, die Crawlern mitteilt, was existiert, damit diese nicht jede Seite ausschließlich über Links finden müssen. Eine Website kann völlig freizügige robots.txt-Regeln haben und trotzdem von KI-Systemen unzureichend indexiert werden, einfach weil ihre Sitemap fehlt, nicht referenziert oder unvollständig ist.

Diese beiden Dateien sind für die KI-Sichtbarkeit wichtiger als sie es je für klassisches SEO waren. Suchmaschinen crawlen das Web seit über 25 Jahren und haben riesige Link-Graphen aufgebaut, die es Googlebot ermöglichen, Seiten auch ohne Sitemap zu entdecken. KI-Crawler sind neuer, oft vorsichtiger dabei, wie viel einer Website sie abrufen, und werden mit größerer Wahrscheinlichkeit durch robots.txt-Regeln komplett blockiert, die nur mit Googlebot im Hinterkopf geschrieben wurden. Eine Regel, die stillschweigend „unbekannte" oder aggressiv wirkende Bots ausschließt, kann GPTBot oder ClaudeBot als Kollateralschaden erwischen. Genau dieses spezifische Fehlerbild soll die Robots.txt- & Sitemaps-Prüfung aufdecken – und deshalb ist dies eines der ersten Dinge, die jedes KI-Zugänglichkeits-Audit prüfen sollte, bevor Sie Zeit in Inhalte, Schema oder irgendetwas anderes investieren.

Wo Sie es finden

Es befindet sich im Bereich Robots.txt & Sitemaps unter Audit → Agent Accessibility. Agent Accessibility ist der Teil des Audits von AmICited, der sich speziell darauf konzentriert, ob KI-Systeme Ihre Inhalte technisch erreichen und verarbeiten können – im Unterschied zu den Teilen des Produkts, die sich mit Inhaltsqualität und Zitierungs-Tracking befassen. Robots.txt & Sitemaps ist normalerweise die erste Prüfung in diesem Bereich, denn alles andere, was das Audit misst, setzt voraus, dass die Crawler überhaupt erst hereinkommen.

Was geprüft wird

Wie der Abschnitt erklärt, wird untersucht, ob die wichtigen KI- und Such-Crawler die Website lesen dürfen, ob Sitemaps in der robots.txt deklariert sind und wie viele URLs diese Sitemaps insgesamt auflisten. Kurz gesagt:

• Crawler-Zugriff – sind die wichtigsten KI- und Such-Bots in der robots.txt erlaubt (nicht ausgeschlossen)? AmICited gleicht Ihre tatsächlichen robots.txt-Regeln mit den User-Agent-Strings der Crawler ab, die für die KI-Suchsichtbarkeit relevant sind, sodass Sie Bot für Bot sehen, ob er erlaubt, blockiert oder von keiner Regel adressiert ist (was in der Regel unter dem Wildcard-Block auf „erlaubt" zurückfällt).
• Sitemap-Deklaration – wird in der robots.txt auf eine Sitemap verwiesen, damit Crawler sie finden können? Eine Sitemap, die zwar existiert, aber nicht aus der robots.txt heraus verlinkt ist (und auch nirgendwo anders eingereicht wurde), wird mit deutlich geringerer Wahrscheinlichkeit automatisch erfasst.
• Sitemap-Abdeckung – wie viele URLs Ihre Sitemaps insgesamt auflisten, was Ihnen einen schnellen Plausibilitätscheck liefert, ob Ihre veröffentlichten Seiten den Crawlern tatsächlich bekannt gemacht werden.

Zusammen beantworten diese drei Prüfungen die zwei Fragen, die darüber entscheiden, ob ein KI-System Ihre Inhalte überhaupt zu bewerten beginnen kann: Wird dieser Crawler hereingelassen? und Weiß er, was er hier abrufen soll? Eine Marke kann inhaltlich alles richtig machen – klare Antworten, starke Entitätssignale, gut strukturierte Seiten – und trotzdem in KI-Antworten unsichtbar bleiben, einfach weil eine dieser beiden Voraussetzungen im Hintergrund stillschweigend nicht erfüllt ist.

Wie Sie es nutzen

1. Bestätigen Sie, dass Crawler zugelassen sind. Wenn ein wichtiger KI-Bot blockiert ist, korrigieren Sie die robots.txt-Regel – dies hat die höchste Priorität auf der Seite. Prüfen Sie bei jedem blockierten Crawler, ob dies Ihrer Absicht entspricht: Eine Regel, die GPTBot blockiert, wurde wahrscheinlich bewusst so geschrieben, wenn Sie nicht möchten, dass Ihre Inhalte für das Modelltraining von OpenAI verwendet werden. Blockiert sie aber auch stillschweigend OAI-SearchBot oder PerplexityBot – die Crawler, die tatsächlich Live-Zitierungen antreiben, im Gegensatz zum Modelltraining –, verlieren Sie Sichtbarkeit ohne strategischen Grund. Es lohnt sich, bewusst zu entscheiden, welche Crawler Sie zulassen möchten, um KI-Bots das Crawlen Ihrer Website zu erlauben , statt eine Standardeinstellung zu übernehmen, die pauschal alles blockiert.
2. Deklarieren Sie Ihre Sitemap. Stellen Sie sicher, dass die robots.txt auf Ihre Sitemap verweist, damit Agenten alle Ihre Seiten entdecken können. Das ist nur eine einzige Zeile – Sitemap: https://ihreseite.de/sitemap.xml –, aber sie gehört zu den am häufigsten fehlenden Details auf ansonsten gut gebauten Websites, besonders bei Seiten, deren Sitemap automatisch von einem CMS generiert, aber nie in die robots.txt zurück eingebunden wurde.
3. Überprüfen Sie die URL-Anzahl. Eine Sitemap, die weit weniger URLs auflistet als Sie veröffentlicht haben, bedeutet, dass Seiten nicht bei Crawlern beworben werden. Das ist meist ein Zeichen für eine veraltete Sitemap (einmal generiert und nie aktualisiert), einen Sitemap-Index, der nicht alle seine untergeordneten Sitemaps verlinkt, oder ein CMS-Plugin, das stillschweigend einen Inhaltstyp ausschließt – kürzlich veröffentlichte Blogbeiträge und dynamisch generierte Seiten sind dabei häufige Opfer.
4. Überprüfen Sie nach Änderungen erneut und bestätigen Sie, dass die Kacheln Crawler-Zugriff und Sitemap-URLs in der Bereitschaftszusammenfassung grün anzeigen.

Der Crawler-Zugriff ist die Grundlage: Stellen Sie dies zuerst richtig, denn alles andere setzt voraus, dass die Bots Ihre Inhalte tatsächlich erreichen können. Sobald Zugriff und Auffindbarkeit beide als einwandfrei bestätigt sind, beginnt der Rest des Agent Accessibility-Audits – Rendering, strukturierte Daten, Antwortzeiten – relevant zu werden, denn diese Prüfungen zahlen sich nur aus, wenn der Crawler überhaupt erst Zugang zur Seite hatte.

Es lohnt sich außerdem, sich zu vergegenwärtigen, dass Robots.txt- und Sitemap-Abdeckung keine einmalige Angelegenheit sind. Neue Bereiche gehen live, CMS-Migrationen generieren Sitemaps mit anderen Standardeinstellungen neu, und CDN- oder WAF-Regeln werden lange nach dem Verfassen der ursprünglichen robots.txt hinzugefügt – jedes davon kann stillschweigend einen blockierten Crawler oder eine unvollständige Sitemap wieder einführen. Manche Teams kombinieren diese Prüfung mit einer Server-Log-Analyse, um zu bestätigen, dass Crawler tatsächlich die Seiten besuchen, die sie besuchen dürfen, sowie mit einer dedizierten llms.txt -Datei, die KI-Systemen neben der reinen Sitemap eine kuratierte Zusammenfassung Ihrer wichtigsten Inhalte liefert. Wenn Sie nicht sicher sind, wo Robots.txt- und Sitemap-Abdeckung im Verhältnis zu Ihrer übrigen technischen Arbeit einzuordnen sind, führt Sie ein umfassenderes KI-Sichtbarkeits-Audit durch die vollständige Reihe der Zugänglichkeitsprüfungen der Reihe nach, und das eigene AI Visibility -Tool von AmICited verfolgt, ob die Behebung dieser Probleme tatsächlich zu mehr Zitierungen im Zeitverlauf führt – und verbindet so die technische Korrektur mit dem Ergebnis, das sie eigentlich bewirken soll, statt „Crawler zugelassen" bereits als Ziellinie zu betrachten. Für Teams, die dies über Dutzende Kunden-Websites hinweg verwalten, gehören dieselben Zugriffs- und Sitemap-Prüfungen zu den wiederkehrenden Punkten, die unter AmICited für Agenturen abgedeckt werden, da sich eine einzelne fehlkonfigurierte robots.txt-Regel tendenziell über Templates hinweg wiederholt und schon beim Onboarding erkannt werden muss – nicht erst, wenn ein Kunde fragt, warum seine Marke in ChatGPT nie auftaucht.