Habe gerade die Seite eines Kunden geprüft und dabei etwas Interessantes entdeckt.
Die Entdeckung:
Ihre robots.txt blockiert seit über 2 Jahren KI-Crawler:
User-agent: *
Disallow: /private/
# Das wurde 2023 durch ein Sicherheits-Plugin hinzugefügt
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Auswirkungen:
Jetzt frage ich mich:
Fragen an die Community:
Suche nach praxisnahen Konfigurationen, nicht nur Theorie.
Das ist häufiger, als viele denken. Hier die Aufschlüsselung der Crawler:
KI-Crawler-Typen:
| Crawler | Unternehmen | Zweck | Empfehlung |
|---|---|---|---|
| GPTBot | OpenAI | Modelltraining | Freie Wahl |
| ChatGPT-User | OpenAI | Echtzeit-Suche | Erlauben |
| ClaudeBot | Anthropic | Echtzeit-Zitate | Erlauben |
| Claude-Web | Anthropic | Web-Browsing | Erlauben |
| PerplexityBot | Perplexity | Suchindex | Erlauben |
| Perplexity-User | Perplexity | Nutzeranfragen | Erlauben |
| Google-Extended | Gemini/KI-Features | Erlauben |
Der zentrale Unterschied:
Die meisten Unternehmen:
Erlauben Such-Crawler (für Erwähnungen) und treffen eine geschäftliche Entscheidung zu Trainings-Crawlern.
Empfohlene robots.txt:
# KI-Such-Crawler erlauben
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
# Training blockieren, falls gewünscht (optional)
User-agent: GPTBot
Disallow: /
Sitemap: https://yoursite.com/sitemap.xml
Wichtiger Zusatz: Prüft, ob die Crawler wirklich blockiert werden – oder ob sie einfach nicht kommen.
So prüft ihr das:
Was wir bei einem Kunden fanden:
robots.txt erlaubte GPTBot, aber Cloudflares Sicherheitsregeln blockierten ihn als “verdächtigen Bot”.
Firewall-Konfiguration für KI-Bots:
Bei Cloudflare:
robots.txt ist notwendig, aber nicht ausreichend.
Alle Ebenen des Stacks prüfen.
Ich erkläre kurz llms.txt, da du gefragt hast:
Was ist llms.txt:
Ein neuer Standard (2024 vorgeschlagen), der KI-Systemen einen strukturierten Überblick über deine Seite gibt. Im Prinzip ein Inhaltsverzeichnis speziell für Sprachmodelle.
Speicherort: yoursite.com/llms.txt
Grundstruktur:
# Ihr Firmenname
> Kurze Beschreibung Ihres Unternehmens
## Zentrale Seiten
- [Startseite](https://yoursite.com/): Haupteinstieg
- [Produkte](https://yoursite.com/products): Produktkatalog
- [Preise](https://yoursite.com/pricing): Preisinformationen
## Ressourcen
- [Blog](https://yoursite.com/blog): Branchen-Insights
- [Dokumentation](https://yoursite.com/docs): Technische Dokumente
- [FAQ](https://yoursite.com/faq): Häufige Fragen
## Support
- [Kontakt](https://yoursite.com/contact): Kontakt aufnehmen
Warum das hilft:
KI-Systeme haben begrenzte Kontextfenster. Sie können nicht die ganze Seite crawlen und verstehen. llms.txt liefert eine kuratierte Übersicht.
Unsere Ergebnisse nach der Implementierung:
Der Unterschied Training vs. Suche verdient mehr Aufmerksamkeit.
Die Grundsatzfrage:
Willst du, dass deine Inhalte KI-Modelle trainieren?
Argumente fürs Erlauben von Training:
Argumente dagegen:
Was Publisher tun:
| Publisher-Typ | Training | Suche |
|---|---|---|
| Nachrichtenportale | Blockieren | Erlauben |
| SaaS-Unternehmen | Erlauben | Erlauben |
| E-Commerce | Unterschiedlich | Erlauben |
| Agenturen | Erlauben | Erlauben |
Meine Empfehlung:
Die meisten B2B-Unternehmen sollten beides erlauben. Der Vorteil von Erwähnungen überwiegt die Trainings-Bedenken.
Wer als Content-Publisher mit Lizenzwert agiert, sollte Training blockieren, aber Suche erlauben.
Hier echte Ergebnisse nach Freischaltung von KI-Crawlern:
Kunde A (SaaS):
Vorher: GPTBot blockiert, 0 KI-Zitate Nachher: GPTBot + alle Crawler erlaubt
| Metrik | Vorher | 30 Tage | 90 Tage |
|---|---|---|---|
| KI-Zitate | 0 | 12 | 47 |
| KI-vermittelter Traffic | 0 | 0,8% | 2,3% |
| Markensuchen | Basiswert | +8% | +22% |
Kunde B (E-Commerce):
Vorher: Alle KI blockiert Nachher: Such-Crawler erlaubt, Training blockiert
| Metrik | Vorher | 30 Tage | 90 Tage |
|---|---|---|---|
| Produktzitate | 0 | 34 | 89 |
| KI-vermittelter Traffic | 0 | 1,2% | 3,1% |
| Produktsuchen | Basiswert | +15% | +28% |
Der Zeitplan:
Zentrale Erkenntnis:
Freischaltung bringt keine Sofortergebnisse. Es dauert 4–8 Wochen bis zum spürbaren Effekt.
Sicherheitsperspektive auf KI-Crawler:
Echte Risiken:
So kann man vorbeugen:
Crawler-Identität überprüfen:
Rate-Limiting (pro Crawler):
GPTBot: 100 Anfragen/Minute
ClaudeBot: 100 Anfragen/Minute
PerplexityBot: 100 Anfragen/Minute
Auf Auffälligkeiten achten:
Offizielle IP-Bereiche:
Jeder KI-Anbieter veröffentlicht IPs:
Vor dem Whitelisting abgleichen.
Für WordPress-Nutzer – typische Blocker, die ich gesehen habe:
Sicherheits-Plugins, die KI blockieren:
So prüft ihr das:
WordPress robots.txt:
WordPress erstellt robots.txt dynamisch. Zum Anpassen:
Option 1: Mit Yoast SEO → Tools → Dateieditor Option 2: Physische robots.txt im Root anlegen (überschreibt) Option 3: Plugin wie “Robots.txt Editor” nutzen
Unsere Standard-WordPress-Konfiguration:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://yoursite.com/sitemap.xml
Gute WordPress-Übersicht. Ergänzung: So erstellt ihr llms.txt für WordPress.
Option 1: Statische Datei
llms.txt im Theme-Root erstellen und nach public_html/ hochladen
Option 2: Plugin-Ansatz
Mehrere Plugins unterstützen inzwischen llms.txt-Generierung:
Option 3: Code-Snippet
// In functions.php
add_action('init', function() {
if ($_SERVER['REQUEST_URI'] == '/llms.txt') {
header('Content-Type: text/plain');
// Hier llms.txt-Inhalt ausgeben
exit;
}
});
Best Practice:
llms.txt aktualisieren, wenn:
Statische Datei ist am einfachsten, muss aber manuell aktualisiert werden.
Nach dem Freischalten – so überwacht ihr KI-Crawler-Aktivität:
Das sollte man tracken:
| Metrik | Wo finden | Aussage |
|---|---|---|
| Crawl-Frequenz | Server-Logs | Wie oft Bots kommen |
| Gecralte Seiten | Server-Logs | Welche Inhalte indexiert werden |
| Crawl-Fehler | Server-Logs | Blockierungsprobleme |
| KI-Zitate | Am I Cited | Ob Crawling zu Sichtbarkeit führt |
Server-Log-Analyse:
Nach diesen User-Agent-Mustern suchen:
Einfacher grep-Befehl:
grep -E "GPTBot|ClaudeBot|PerplexityBot|Google-Extended" access.log
So sieht gesunde Aktivität aus:
Warnsignale:
Diese Diskussion hat mir alles geliefert, was ich brauchte. Unser Umsetzungsplan:
Aktualisierte robots.txt:
# KI-Such-Crawler erlauben (Zitate)
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
# Trainings-Crawler – aktuell erlaubt
User-agent: GPTBot
Allow: /
# Standardregeln
User-agent: *
Disallow: /private/
Disallow: /admin/
Sitemap: https://clientsite.com/sitemap.xml
llms.txt-Implementierung:
Strukturierte Übersicht der Kundenseite angelegt mit:
Firewall-Updates:
Monitoring-Setup:
Zeiterwartungen:
Erfolgskriterien:
Danke an alle für die technischen Details und die Praxiskonfigurationen.
Get personalized help from our team. We'll respond within 24 hours.
Verfolgen Sie, welche KI-Bots Ihre Website crawlen und wie Ihre Inhalte in KI-generierten Antworten erscheinen. Sehen Sie den Einfluss Ihrer Crawler-Konfiguration.
Community-Diskussion darüber, welche KI-Crawler man erlauben oder blockieren sollte. Echte Entscheidungen von Webmastern zu GPTBot-, PerplexityBot- und anderen ...
Community-Diskussion zur Konfiguration von robots.txt für KI-Crawler wie GPTBot, ClaudeBot und PerplexityBot. Echte Erfahrungen von Webmastern und SEO-Spezialis...
Community-Diskussion über Häufigkeit und Verhalten von KI-Crawlern. Reale Daten von Webmastern, die GPTBot, PerplexityBot und andere KI-Bots in ihren Server-Log...
Cookie-Zustimmung
Wir verwenden Cookies, um Ihr Surferlebnis zu verbessern und unseren Datenverkehr zu analysieren. See our privacy policy.