Wie finde ich heraus, ob AI-Crawler tatsächlich auf meine Seite zugreifen können? Leitfaden zum Testen benötigt

Vollständiger Test-Leitfaden:

Schritt 1: robots.txt-Prüfung

Prüfen Sie Ihre robots.txt unter yourdomain.com/robots.txt

Achten Sie auf:

# Gut – explizite Freigabe für AI-Crawler
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Achtung bei:

# Schlecht – Wildcard blockiert alle nicht-spezifizierten Bots
User-agent: *
Disallow: /

# Schlecht – explizite Blockierung von AI-Crawlern
User-agent: GPTBot
Disallow: /

Schritt 2: robots.txt-Tester

Verwenden Sie Googles robots.txt-Tester oder Online-Tools. Testen Sie mit diesen User Agents:

• GPTBot
• PerplexityBot
• ClaudeBot
• anthropic-ai

Geben Sie Ihre wichtigsten URLs ein und prüfen Sie, ob sie erlaubt sind.

Schritt 3: Server-Log-Analyse

Suchen Sie in Logs nach AI-Bot-Signaturen. Details im nächsten Beitrag.

Häufige Probleme, die AI-Crawler blockieren:

1. robots.txt-Wildcards

User-agent: *
Disallow: /

Dies blockiert ALLE nicht-spezifizierten Bots, auch AI-Crawler.

Abhilfe:

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /

2. Rate Limiting Aggressives Rate Limiting kann Crawler-IPs blockieren. Prüfen Sie, ob Ihr WAF oder CDN blockiert.

3. IP-Blocklisten Manche Sicherheits-Plugins blockieren „verdächtige“ IPs. AI-Crawler-IPs könnten betroffen sein.

4. Authentifizierung erforderlich Jede Login-Anforderung blockiert Crawler. Stellen Sie sicher, dass öffentliche Inhalte wirklich öffentlich sind.

5. JavaScript-Rendering Nur per JS gerenderter Inhalt ist ggf. nicht sichtbar. AI-Crawler führen JavaScript oft nicht vollständig aus.

6. Langsame Antwort Seiten, die über 5–10 Sekunden laden, können Timeouts verursachen. Crawler brechen dann ab.

Test für jeden Punkt:

• robots.txt: Direkter URL-Check
• Rate Limiting: WAF/CDN-Logs prüfen
• IP-Blockierung: Von verschiedenen IPs testen
• Auth: Anonymes Browsen versuchen
• JS: Seitenquelltext vs. gerenderte Seite vergleichen
• Geschwindigkeit: GTmetrix o.Ä.

Vollständige Liste der AI-Crawler-User-Agents:

OpenAI:

GPTBot

Für ChatGPT-Training und -Browsing.

Perplexity:

PerplexityBot

Für Perplexity AI-Suche.

Anthropic:

ClaudeBot
anthropic-ai

Für Claude AI.

Google:

Google-Extended

Für Google AI/Gemini-Training.

Common Crawl:

CCBot

Von vielen AI-Systemen zum Training verwendet.

Ihre robots.txt sollte beinhalten:

# AI-Crawler
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

Wenn Sie bestimmte Bots blockieren möchten, verwenden Sie Disallow. Die meisten Unternehmen möchten alle erlauben.

Online-Tools zum Testen:

1. Googles robots.txt-Tester (Im Search Console)

• Benutzerdefinierten User Agent eingeben
• Bestimmte URLs testen
• Allow/Disallow-Ergebnis sehen

2. SEO Spider Tools

• Screaming Frog
• Sitebulb
• DeepCrawl Können als bestimmte User Agents crawlen.

3. Manuelles Testen

# Testen mit curl als GPTBot
curl -A "GPTBot" https://yoursite.com/page

# Antwortcode prüfen
curl -I -A "GPTBot" https://yoursite.com/page

4. robots.txt-Validatoren

• Googles robots.txt-Tester
• robots.txt Validator (mehrere online)
• Syntax-Prüfungstools

Was testen:

• Startseite
• Wichtige Inhaltsseiten
• Blogartikel
• Produktseiten
• FAQ-Seiten

Testen Sie explizit Ihre wichtigsten Seiten.

Wenn Sie sich auf der Kommandozeile nicht wohlfühlen:

GUI-Log-Analyse:

• GoAccess (kostenlos, visuelle Log-Analyse)
• AWStats (klassischer Log-Analyzer)
• Matomo (selbstgehostete Analytics)

Cloud-Log-Analyse:

• Cloudflare Analytics (bei Nutzung von CF)
• AWS CloudWatch (bei AWS)
• Google Cloud Logging

Drittanbieter-Services:

• Loggly
• Papertrail
• Datadog

Worauf achten: Erstellen Sie einen Filter/Suche nach AI-Bot-User-Agents. Richten Sie Alerts für 403/500-Antworten gegenüber AI-Bots ein. Beobachten Sie Trends über die Zeit.

Einfache Dashboard-Metriken:

• AI-Bot-Besuche pro Tag
• Meist gecrawlte Seiten
• Fehlerrate
• Crawl-Trends

Wenn Sie 2+ Wochen lang keinen AI-Bot-Traffic sehen, stimmt etwas nicht.

CDN und WAF blockieren oft AI-Crawler:

Cloudflare:

• Bot Fight Mode kann AI-Bots blockieren
• Prüfen Sie Einstellungen unter Sicherheit > Bots
• Ausnahmen für AI-Crawler-IPs hinzufügen, falls nötig

AWS CloudFront/WAF:

• AWS WAF-Regeln könnten blockieren
• WAF-Logs auf blockierte Anfragen prüfen
• Allow-Regeln für AI-Bots erstellen

Akamai:

• Bot Manager-Einstellungen
• Ggf. explizite Allowlist notwendig

Wie prüfen:

1. CDN/WAF-Logs prüfen, nicht nur Origin-Logs
2. Nach blockierten/angefochtenen Anfragen suchen
3. Nach spezifischen AI-Bot-User-Agents suchen

Unsere Erfahrung: Cloudflares Bot Fight Mode hat GPTBot blockiert. Für AI-Crawler gezielt deaktiviert. Erste GPTBot-Besuche innerhalb von 24 Stunden festgestellt.

Prüfen Sie Ihre Edge-Layer, nicht nur den Origin-Server.

Monatlicher Health-Check für AI-Crawler:

Wöchentlicher Quick-Check (5 Min):

1. Schnelle Log-Suche nach AI-Bots
2. Fehler-Antworten notieren
3. Besuchertrend prüfen

Monatlicher Deep-Check (30 Min):

1. robots.txt-Audit

   • Sind AI-Crawler weiterhin erlaubt?
   • Neue Regeln, die blockieren könnten?

2. Log-Analyse

   • Welche AI-Bots besuchen?
   • Welche Seiten werden am meisten gecrawlt?
   • Fehler-Muster?

3. Page-Speed-Check

   • Wichtige Seiten noch schnell?
   • Neue Performance-Probleme?

4. Zugänglichkeit der Inhalte

   • Neue Login-Walls?
   • Neue JS-abhängige Inhalte?
   • Neue Redirects?

5. CDN/WAF-Überprüfung

   • Neue Sicherheitsregeln?
   • Blockierte Anfragen?

Ergebnisse dokumentieren: Einfache Tabelle führen mit:

• Datum
• Gesehene AI-Bots
• Besuchszahlen
• Gefundene Probleme
• Getroffene Maßnahmen

So entdeckt man Probleme, bevor sie unbemerkt bleiben.

Wenn Sie keine AI-Crawler-Besuche sehen:

Checkliste zur Fehlersuche:

1. Prüfen, ob robots.txt Zugriff erlaubt ✓ Kein Disallow für AI-Bots ✓ Keine Wildcard-Blockierung

2. Server-Erreichbarkeit prüfen ✓ Seite lädt von verschiedenen IPs ✓ Keine geografische Blockierung

3. CDN/WAF prüfen ✓ Bot-Schutz blockiert nicht ✓ Keine AI-Bot-IP-Blockierung

4. Seitenladezeit prüfen ✓ Seiten laden unter 3 Sekunden ✓ Keine Timeout-Probleme

5. HTML-Zugänglichkeit prüfen ✓ Inhalt ohne JS sichtbar ✓ Keine Login-Anforderung

6. Sitemap prüfen ✓ Sitemap vorhanden und gültig ✓ Wichtige Seiten enthalten

7. Externe Signale ✓ Seite hat externe Links ✓ Webpräsenz über eigene Domain hinaus

Wenn alles passt und trotzdem keine Besuche: Ihre Seite wurde evtl. noch nicht entdeckt. Bauen Sie externe Signale auf, um Aufmerksamkeit zu erzeugen.

Typische Zeit bis zum ersten Besuch:

• Neue Seite: 2–4 Wochen nach externen Erwähnungen
• Bestehende Seite nach Korrektur: 1–2 Wochen nach Fix
• Gut verlinkte Seite: Tägliche Besuche

Perfekt. Jetzt habe ich einen richtigen Test-Framework.

Mein Test-Plan:

Heute:

1. robots.txt unter /robots.txt prüfen
2. Überprüfen, ob AI-Crawler explizit erlaubt sind
3. Mit curl-Befehl testen

Diese Woche:

1. Server-Logs auf AI-Bot-Besuche analysieren
2. CDN/WAF auf Blockierungen prüfen
3. Log-Monitoring für AI-Bots einrichten

Monatlich:

1. Besuchstrends der AI-Crawler auswerten
2. Auf Fehler-Antworten prüfen
3. Page-Speed weiterhin überprüfen
4. Neue robots.txt-Änderungen auditieren

Gefundene Aufgaben:

• Explizite Allow-Regeln für AI-Crawler einfügen
• Cloudflare Bot-Management prüfen
• Automatisierte Log-Alerts einrichten

Wichtige Erkenntnis: Access-Testing ist keine einmalige Sache. Neue Regeln und Sicherheitsmaßnahmen können den Zugriff brechen. Regelmäßiges Monitoring erkennt Probleme frühzeitig.

Danke an alle – das gibt mir den benötigten Testing-Framework.