Aus technischer Crawlability-Sicht sind folgende Punkte wichtig:
robots.txt-Konfiguration:
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
KI-Crawler nicht versehentlich blockieren:
- Manche strenge Bot-Blocker-Regeln erfassen auch KI
- Prüfen, ob Sicherheits-Plugins unbekannte User Agents blockieren
- WAF-Regeln überprüfen, die stören könnten
Technische Anforderungen:
- XML-Sitemap – Bei Bing Webmaster Tools einreichen
- Saubere URL-Struktur – Keine Parameter oder Duplikate
- Server-Antwort – Schnell, zuverlässig, keine übermäßigen Weiterleitungen
- Mobil-Optimierung – KI-Plattformen bevorzugen mobilfreundlich
- SSL-Zertifikat – HTTPS wird erwartet
JavaScript-Überlegung:
Die meisten KI-Crawler führen kein JavaScript aus. Ist Ihr Inhalt JS-gerendert, brauchen Sie:
- Serverseitiges Rendering (SSR)
- Pre-Rendering-Lösung
- Statische HTML-Generierung
Prüfen Sie Ihre Seite mit deaktiviertem JavaScript – so sehen KI-Crawler Ihre Inhalte.