KI-Bots besuchen unsere Seite, aber wir werden nicht zitiert. Wie debugge ich Crawling-Probleme?

Lassen Sie mich beim Debuggen helfen. Crawling ≠ Zitieren. Hier ist das Diagnose-Framework:

Schritt 1: Prüfen, was die Crawler wirklich sehen

Verwenden Sie curl mit dem KI-User-Agent:

curl -A "GPTBot" -s https://yoursite.com/page | head -100

Prüfen Sie:

• Erscheint der vollständige Inhalt?
• Gibt es Meta Robots oder X-Robots-Tag-Header?
• Ist der Inhalt im HTML, nicht nur über JS nachgeladen?

Schritt 2: Versteckte Blocker prüfen

Häufige Probleme:

• noindex Meta-Tag (verhindert Indexierung)
• X-Robots-Tag: noindex Header
• Canonical verweist auf andere Seite
• Inhalt wird nachträglich per JavaScript geladen
• Login/Paywall-Erkennung, die Bots anderen Inhalt zeigt

Schritt 3: Inhaltsqualität prüfen

Wenn technisch alles passt, liegt das Problem beim Content:

• Ist er wirklich einzigartig oder nur eine Variante von Standardinhalten?
• Ist er für KI-Extraktion strukturiert?
• Gibt es Autoritätssignale (Autor, Zitate)?
• Ist er umfassend genug, um DIE Quelle zu sein?

Das häufigste Problem, das ich sehe:

Technisch ist alles in Ordnung. Der Inhalt ist einfach nicht zitierwürdig. Crawler besuchen, aber KI-Systeme wählen bessere Quellen.

Die Lücke zwischen „zugänglich“ und „zitierbar“ betrifft Qualität und Struktur, nicht nur technischen Zugriff.

So analysiere ich das Verhalten von KI-Crawlern in Logs:

Log-Analyse für KI-Crawler:

# Alle KI-Crawler-Zugriffe finden
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Statuscodes prüfen
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Häufig besuchte Seiten anzeigen
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Darauf achten:

1. Statuscodes

   • 200: Gut, sie haben die Inhalte erhalten
   • 301/302: Weiterleitungen – prüfen, ob sie sinnvoll führen
   • 403/404: Probleme – sofort beheben
   • 500: Serverfehler – untersuchen

2. Crawling-Muster

   • Welche Seiten werden am meisten gecrawlt?
   • Werden Ihre besten Seiten besucht?
   • Gibt es Seiten, die nie gecrawlt werden?

3. Crawling-Frequenz

   • GPTBot: Meist mehrfach täglich
   • PerplexityBot: Sehr häufig (Echtzeitsuche)
   • Wenn wochenlang keine Zugriffe, robots.txt prüfen

Häufige Log-Probleme:

• CDN versteckt echte User-Agents
• Load Balancer entfernt Header
• Logrotation übersieht Crawler-Zugriffe

Stellen Sie sicher, dass Sie rohe, ungefilterte Logs sehen.

Da Sie den technischen Zugang geprüft haben, gehe ich auf die Inhalte ein:

Warum KI crawlt, aber nicht zitiert:

1. Inhalt ist generisch “5 Tipps für besseres E-Mail-Marketing” – davon gibt es zehntausende. KI zitiert die beste, nicht alle.

2. Keine extrahierbare Antwort Erzählende Inhalte ohne klare Takeaways lassen sich schwer zitieren.

3. Veraltete Informationen Wenn Ihr Inhalt “2023 Trends” sagt, bevorzugt KI aktuelle Quellen.

4. Schwache Autoritätssignale Kein Autor, keine Quellenangaben, keine sichtbaren Qualifikationen.

5. Schlechte Struktur KI braucht klar gegliederte Abschnitte. Fließtext ist schwerer zu extrahieren.

Diagnosetest:

Fragen Sie sich: Wäre ich KI und müsste EINE Quelle für dieses Thema zitieren, würde ich meine Inhalte oder die des Wettbewerbs wählen?

Seien Sie ehrlich. Was hat der Wettbewerb, was Ihnen fehlt?

Meist sind es:

• Umfassendere Behandlung
• Bessere Struktur für Extraktion
• Stärkere Autoritätssignale
• Aktuellere Informationen

Verbessern Sie diese Punkte, folgen die Zitate.

Technischer Deep-Dive zu JavaScript-Rendering:

Auch wenn Ihr Hauptinhalt serverseitig gerendert wird, prüfen Sie:

1. Lazy-geladene Inhaltsbereiche Wichtige Inhalte unterhalb des sichtbaren Bereichs könnten erst nach dem initialen Rendern geladen werden.

// Dieser Inhalt könnte für Crawler unsichtbar sein
<div data-lazy="true">Wichtiger Inhalt hier</div>

2. Interaktive Elemente, die Inhalte verbergen Tabs, Akkordeons, ausklappbare Bereiche könnten KI-Crawlern Inhalte vorenthalten.

3. JavaScript-generierte strukturierte Daten Wenn Ihr Schema per JS eingefügt wird, sehen Crawler es eventuell nicht.

Test-Tool:

Googles Mobile-Friendly-Test zeigt das gerenderte HTML: https://search.google.com/test/mobile-friendly

Vergleichen Sie das Ergebnis mit Ihrer tatsächlichen Seite. Unterschiede könnten Sichtbarkeitsprobleme erklären.

Schnelle Prüfung:

Sehen Sie sich Ihre Seite mit deaktiviertem JavaScript an. Was dort sichtbar ist, sehen die Crawler definitiv. Fehlen wichtige Inhalte, ist das Ihr Problem.

Schema-Probleme, die Zitate verhindern:

Auch sichtbare Inhalte können durch fehlerhaftes Schema leiden:

1. Ungültiges Schema-Markup Mit Googles Rich Results Test validieren. Ungültiges Schema wird oft ignoriert.

2. Fehlendes Schema Kein Organization-, Article- oder FAQ-Schema bedeutet, KI muss den Inhaltstyp erraten.

3. Widersprüchliches Schema Mehrere Organization-Schemas mit unterschiedlichen Angaben. KI kann nicht entscheiden, welchem sie vertrauen soll.

So testen Sie:

# Abrufen und nach Schema suchen
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

Jeden Schema-Block validieren unter: https://validator.schema.org/

Häufige Schema-Fehler:

• Fehlendes @context
• Falscher @type
• Ungültige Datumsformate
• URL-Felder ohne http/https
• Fehlende Pflichtangaben

Schema-Fehler beheben. KI-Systeme analysieren Schema zur Inhaltsverständnis. Ungültiges Schema = unklare Inhalte.

Dieser Thread hat mir die Augen geöffnet: Unser Problem ist nicht technischer Natur.

Was ich getestet habe:

• curl mit KI-User-Agents: Inhalt wird korrekt angezeigt
• Keine noindex-Tags gefunden
• Schema ist gültig
• JavaScript verbirgt keine wichtigen Inhalte
• Logs zeigen regelmäßige Crawler-Besuche mit 200ern

Was ich beim Vergleich mit zitierten Wettbewerbern herausgefunden habe:

Deren Inhalte haben:

• Direkte Antwort im ersten Absatz (unsere verstecken die Antwort)
• FAQ-Bereiche mit Schema (wir haben beides nicht)
• Autorenbiografien mit Qualifikationen (unsere sind generisch)
• Vergleichstabellen (wir nutzen Fließtext)
• Aktuelle Daten (unsere sind seit 18 Monaten unverändert)

Mein Aktionsplan:

1. Keine technischen Probleme mehr debuggen (sie sind es nicht)
2. Fokus auf Inhaltsqualität und -struktur
3. FAQ-Bereiche mit Schema hinzufügen
4. Für direkte Antworten umstrukturieren
5. Autorenqualifikationen ergänzen
6. Veraltete Inhalte aktualisieren

Wichtige Erkenntnis:

Crawling funktioniert + keine Zitate = Problem bei Qualität/Struktur, nicht Technik.

Ich habe an der falschen Stelle gesucht. Danke an alle!