AI-bots bezoeken onze site, maar we worden niet geciteerd. Hoe debug ik crawlproblemen?

Laat me helpen debuggen. Crawlen ≠ citeren. Hier is het diagnostisch stappenplan:

Stap 1: Controleer wat crawlers daadwerkelijk zien

Gebruik curl met de AI user-agent:

curl -A "GPTBot" -s https://jouwsite.com/page | head -100

Controleer:

• Verschijnt de volledige content?
• Zijn er meta robots- of X-Robots-Tag headers?
• Staat de content in de HTML, zonder dat JS nodig is?

Stap 2: Check op verborgen blokkades

Veelvoorkomende issues:

• noindex meta tag (blokkeert indexering)
• X-Robots-Tag: noindex header
• Canonical die elders naartoe wijst
• Content via JavaScript geladen na paginalaad
• Login/paywall-detectie die bots andere content toont

Stap 3: Contentkwaliteitscheck

Als crawlen goed gaat, zit het probleem in de content:

• Is het echt uniek, of een variatie op algemene info?
• Is het gestructureerd voor AI-extractie?
• Heeft het autoriteitssignalen (auteur, bronvermeldingen)?
• Is het volledig genoeg om DE bron te zijn?

Meest voorkomende probleem dat ik zie:

Technisch crawlen gaat goed. Content is gewoon niet het citeren waard. Crawlers komen langs, maar AI-systemen kiezen betere bronnen.

Het verschil tussen “toegankelijk” en “citeerbaar” draait om contentkwaliteit en structuur, niet alleen technische toegang.

Zo analyseer ik AI-crawlergedrag in logs:

Loganalyse voor AI-crawlers:

# Vind alle AI-crawler hits
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Check statuscodes
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Bekijk welke pagina's ze het meest bezoeken
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Waar op letten:

1. Statuscodes

   • 200: Goed, ze hebben de content gekregen
   • 301/302: Redirects – check of ze ergens nuttigs landen
   • 403/404: Problemen – direct oplossen
   • 500: Serverfouten – onderzoeken

2. Crawlpatronen

   • Welke pagina’s worden het meest gecrawld?
   • Worden je beste pagina’s bezocht?
   • Zijn er pagina’s die nooit gecrawld worden?

3. Crawlfrequentie

   • GPTBot: Meestal meerdere keren per dag
   • PerplexityBot: Zeer vaak (realtime zoekopdrachten)
   • Als er wekenlang geen hits zijn, check robots.txt

Veelvoorkomende loginzichten:

• CDN verbergt echte user agents
• Load balancer stript headers
• Logrotatie mist crawler-hits

Zorg dat je rauwe, ongefilterde logs bekijkt.

Aangezien je technische toegang hebt geverifieerd, wil ik de contentkant belichten:

Waarom AI misschien crawlt maar niet citeert:

1. Content is generiek “5 tips voor betere e-mailmarketing” – daar zijn er 10.000 van. AI citeert de beste, niet allemaal.

2. Geen extraheerbaar antwoord Verhalende content zonder duidelijke conclusies is lastig voor AI om te quoten.

3. Verouderde informatie Als je content “trends 2023” zegt, kiest AI misschien liever actuele bronnen.

4. Zwakke autoriteitssignalen Geen auteur, geen bronvermeldingen, geen zichtbare referenties.

5. Slechte structuur AI heeft duidelijke secties nodig die het kan parseren. Lopende tekst is moeilijker te extraheren.

Diagnostische test:

Vraag jezelf: Als ik AI was en ÉÉN bron moest citeren voor dit onderwerp, zou ik dan mijn content kiezen of die van een concurrent?

Wees eerlijk. Wat heeft de concurrent dat jij niet hebt?

Meestal is het:

• Meer volledige dekking
• Betere structuur voor extractie
• Sterkere autoriteitssignalen
• Meer actuele informatie

Verbeter die punten, en citaties volgen vanzelf.

Technische diepduik in JavaScript-rendering:

Ook als je hoofdcontent server-side gerenderd is, controleer op:

1. Lazy-loaded contentsecties Belangrijke content onder de vouw kan na de initiële render laden.

// Deze content is mogelijk niet zichtbaar voor crawlers
<div data-lazy="true">Belangrijke content hier</div>

2. Interactieve elementen die content verbergen Tabs, accordeons, uitklapbare secties kunnen content bevatten die AI niet ziet.

3. Via JavaScript gegenereerde structured data Als je schema via JS wordt toegevoegd, zien crawlers het misschien niet.

Testtool:

Google’s Mobile-Friendly Test toont gerenderde HTML: https://search.google.com/test/mobile-friendly

Vergelijk wat je daar ziet met je echte pagina. Verschillen kunnen zichtbaarheidsproblemen verklaren.

Snelle check:

Bekijk je pagina met JavaScript uitgeschakeld. Alles wat je dan ziet, ziet de crawler zeker. Ontbreekt er belangrijke content, dan is dat je probleem.

Schema-issues die citaties tegenhouden:

Zelfs als de content zichtbaar is, kan slechte schema-markup je schaden:

1. Ongeldige schema-markup Gebruik Google’s Rich Results Test om te valideren. Ongeldige schema’s worden mogelijk volledig genegeerd.

2. Ontbrekend schema Geen Organization-, Article- of FAQ-schema zorgt ervoor dat AI moet raden wat je contenttype is.

3. Conflicterende schema’s Meerdere Organization-schema’s met verschillende info. AI weet niet welke te vertrouwen.

Hoe testen:

# Haal op en check op schema
curl -s https://jouwsite.com | grep -o 'application/ld+json' | wc -l

Valideer elk schema-blok op: https://validator.schema.org/

Veelvoorkomende schemafouten:

• Ontbrekende @context
• Verkeerde @type
• Ongeldige datumnotaties
• URL-velden zonder http/https
• Ontbrekende verplichte properties

Los schemafouten op. AI-systemen parseren schema om content te begrijpen. Ongeldig schema = onduidelijke content.

Deze thread heeft me doen inzien: ons probleem is niet technisch.

Wat ik getest heb:

• curl met AI user-agents: content wordt correct weergegeven
• Geen noindex-tags aanwezig
• Schema valideert correct
• JavaScript verbergt geen belangrijke content
• Logs tonen regelmatige crawlerbezoeken met 200’s

Wat ik ontdekte bij het vergelijken met concurrenten die wel geciteerd worden:

Hun content heeft:

• Een direct antwoord in de eerste alinea (wij verstoppen het antwoord)
• FAQ-secties met schema (wij hebben geen van beide)
• Auteurbio’s met referenties (de onze zijn generiek)
• Vergelijkingstabellen (wij gebruiken verhalende alinea’s)
• Bijgewerkte data (de onze zijn al 18 maanden niet aangepast)

Mijn actieplan:

1. Stoppen met debuggen van technische issues (dat is niet het probleem)
2. Focus op contentkwaliteit en structuur
3. FAQ-secties met schema toevoegen
4. Herstructureren voor directe antwoorden
5. Auteurreferenties toevoegen
6. Verouderde content updaten

Belangrijk inzicht:

Crawlen werkt + niet geciteerd worden = contentkwaliteit/structuurprobleem, geen technisch probleem.

Ik was op het verkeerde niveau aan het debuggen. Bedankt allemaal!