Vernielen AI-bots je crawlbudget? Zo beheer je GPTBot en consorten

AI-crawlbudget is nu echt een issue. Ik licht het toe.

Hoe AI-crawlers verschillen van Google:

Het crawl-versus-verwijzingsprobleem:

ClaudeBot crawlt tienduizenden pagina’s voor elke bezoeker die het stuurt.

GPTBot is vergelijkbaar: enorme crawl, minimale directe traffic.

Waarom je ze niet zomaar moet blokkeren:

Als je AI-crawlers blokkeert, verschijnt je content niet in AI-antwoorden. Concurrenten die crawling toestaan krijgen die zichtbaarheid.

De strategie: Selectief beheren, niet blokkeren.

Infrastructuurperspectief op AI-crawlerbelasting.

Wat we gemeten hebben (14 dagen):

AI-bots deden minder verzoeken maar gebruikten bijna evenveel bandbreedte.

De rekensom:

AI-crawlers vragen 2,5x meer data per verzoek. Ze halen de volledige HTML op voor hun modellen, niet efficiënt incrementeel crawlen zoals Google.

Serverimpact:

• CPU-pieken op de origine-server tijdens AI-crawlgolven
• Geheugendruk door gelijktijdige verzoeken
• Databasequeries bij dynamische content
• Potentiële impact op echte gebruikers

Onze oplossing:

1. Cachinglaag - CDN bedient AI-bots, beschermt origine
2. Rate limiting - 2 verzoeken/seconde per AI-crawler
3. Queue-prioriteit - Echte gebruikers eerst, bots tweede
4. Monitoring - Alerts bij AI-crawlpieken

Servergezondheid verbeterde met 40% na invoering van deze maatregelen.

Het zichtbaarheidsperspectief.

Het dilemma:

AI-crawlers blokkeren = Geen serverbelasting, geen AI-zichtbaarheid AI-crawlers toestaan = Serverbelasting, potentieel AI-zichtbaarheid

Wat er gebeurt als je blokkeert:

We testten het blokkeren van GPTBot op een klantsite gedurende 3 maanden:

• Serverbelasting daalde met 22%
• AI-citaties daalden met 85%
• Vermeldingen van concurrenten in ChatGPT namen toe
• We draaiden de beslissing binnen 2 maanden terug

De betere aanpak:

Niet blokkeren. Beheren.

Beheerhiërarchie:

1. CDN/caching - Laat edge botverkeer afhandelen
2. Rate limiting - Afremmen, niet stoppen
3. Selectief blokkeren - Blokkeer alleen lage-waarde secties
4. Contentoptimalisatie - Zorg dat wat ze crawlen waardevol is

ROI-berekening:

Als AI-verkeer 5x beter converteert dan organisch, rechtvaardigt zelfs een kleine AI-verkeersstijging de serverinvestering.

Serverkosten: $200/maand extra Waarde AI-verkeer: $2.000/maand Besluit: Crawlen toestaan

Belangrijk punt over JavaScript-rendering.

Het probleem:

De meeste AI-crawlers voeren geen JavaScript uit.

Wat dit betekent:

Als je content via JavaScript wordt weergegeven (React, Vue, Angular SPA), zien AI-crawlers niets.

Onze ontdekking:

AI-crawlers bezochten onze site duizenden keren, maar kregen lege pagina’s. Al onze content laadde client-side.

De oplossing:

Server-side rendering (SSR) voor kritieke content.

Resultaten:

Zelfde crawlbudget, 23x meer citaten.

Gebruik je een JavaScript-framework, implementeer SSR voor pagina’s die je door AI wilt laten citeren. Anders verspillen ze crawlbudget aan lege pagina’s.

Tips voor analyse van serverlogs.

Hoe AI-crawlers te herkennen:

User-agent strings om op te letten:

• GPTBot
• ChatGPT-User (real-time queries)
• OAI-SearchBot
• ClaudeBot
• PerplexityBot
• Amazonbot
• anthropic-ai

Analysemethode:

1. Exporteer logs van 30 dagen
2. Filter op AI-user-agents
3. Analyseer URL-patronen
4. Bereken crawlverspilling

Wat wij vonden:

60% van het AI-crawlbudget werd verspild aan:

• Interne zoekresultaten
• Paginering na pagina 5
• Archiefpagina’s uit 2018
• Test-/staging-URL’s

De oplossing:

robots.txt disallow voor die secties.

AI-crawl-efficiëntie steeg van 40% naar 85% nuttige crawling.

Blijf monitoren:

Zet dashboards op voor:

• AI-crawlervolume per bot
• Meest gecrawlde URL’s
• Responsetijden tijdens crawling
• Crawlverspillingspercentage

Wanneer blokkeren wel zinvol is.

Legitieme redenen om AI-crawlers te blokkeren:

1. Juridische content - Verouderde juridische info die niet geciteerd mag worden
2. Compliance-content - Gereguleerde content met aansprakelijkheid
3. Propriëtaire data - Bedrijfsgeheimen, onderzoek
4. Gevoelige content - Gebruikersgegenereerde, persoonlijke info

Voorbeeld:

Advocatenkantoor met gearchiveerde wetgeving uit 2019. Als AI dit als actuele wet citeert, kunnen cliënten worden benadeeld. Blokkeer AI van /archive/legislation/.

De selectieve aanpak:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /archived-legal/
Disallow: /user-generated/
Disallow: /internal/
Allow: /

Wat je niet moet blokkeren:

Je waardevolle content, blog, productpagina’s, dienstomschrijvingen. Dáár wil je door AI geciteerd worden.

Standaard:

Toestaan, tenzij er een specifieke reden is om te blokkeren.

De opkomende standaard llms.txt.

Wat is llms.txt?

Vergelijkbaar met robots.txt, maar specifiek voor AI-crawlers. Geeft LLM’s aan welke content geschikt is om te gebruiken.

Huidige status:

Vroege adoptie. Niet alle AI-providers respecteren het al.

Voorbeeld llms.txt:

# llms.txt
name: Bedrijfsnaam
description: Wat we doen
contact: ai@company.com

allow: /products/
allow: /services/
allow: /blog/

disallow: /internal/
disallow: /user-content/

Moet je het nu al implementeren?

Ja - het toont een vooruitstrevende houding en zal waarschijnlijk snel door AI-systemen worden opgepikt.

De toekomst:

Naarmate AI-crawling volwassener wordt, komen er waarschijnlijk meer geavanceerde controles. Positioneer jezelf tijdig.

Huidige tools: robots.txt Opkomst: llms.txt Toekomst: Meer gedetailleerde AI-crawlercontroles

Geweldige discussie. Mijn AI-crawlbudget-beheerplan:

Direct (deze week):

1. Serverlogs analyseren op AI-crawlerpatronen
2. Crawlverspilling identificeren (archief, paginering, interne zoekfunctie)
3. robots.txt bijwerken met selectieve blokkades
4. Rate limiting op CDN-niveau toepassen

Korte termijn (deze maand):

1. CDN-caching voor AI-botverkeer opzetten
2. Monitoringdashboards implementeren
3. SSR testen voor JavaScript-content
4. llms.txt-bestand aanmaken

Doorlopend:

1. Wekelijkse review van crawl-efficiëntie
2. AI-citatiegraad monitoren
3. Rate limits aanpassen afhankelijk van servercapaciteit
4. AI-verwijzingsverkeer vs crawlvolume volgen

Belangrijke keuzes:

• NIET volledig blokkeren van AI-crawlers - zichtbaarheid is belangrijk
• Rate limiting op 2 verzoeken/seconde
• Selectief blokkeren van lage-waarde secties
• CDN-bescherming voor de origine-server

De balans:

Servergezondheid is belangrijk, maar AI-zichtbaarheid ook. Beheer, blokkeer niet.

Dank allemaal - hier kan ik mee aan de slag.