Welke AI-crawlers moet ik toegang geven? Complete gids voor 2025

AI-crawlers begrijpen en hun doel

AI-crawlers zijn geautomatiseerde bots die content van websites opvragen en verzamelen om verschillende doelen te dienen binnen het ecosysteem van kunstmatige intelligentie. In tegenstelling tot traditionele zoekmachinecrawlers, die vooral content indexeren voor zoekresultaten, opereren AI-crawlers in drie verschillende categorieën, elk met verschillende implicaties voor de zichtbaarheid en bescherming van je website. Het begrijpen van deze categorieën is essentieel om weloverwogen beslissingen te nemen over welke crawlers je toelaat of blokkeert in je robots.txt-bestand.

De eerste categorie bestaat uit trainingscrawlers die webinhoud verzamelen om datasets te bouwen voor de ontwikkeling van grote taalmodellen. Deze crawlers, zoals GPTBot en ClaudeBot, verzamelen systematisch informatie die deel uitmaakt van de kennisbasis van een AI-model. Zodra je content in een trainingsdataset terechtkomt, kan het worden gebruikt om antwoorden te genereren zonder dat gebruikers ooit je originele website bezoeken. Volgens recente gegevens zijn trainingscrawlers goed voor ongeveer 80% van al het AI-crawlerverkeer, waardoor ze de meest agressieve categorie zijn qua bandbreedteverbruik en contentverzameling.

De tweede categorie omvat zoek- en citatiecrawlers die content indexeren voor door AI aangedreven zoekervaringen en antwoordgeneratie. Deze crawlers, zoals OAI-SearchBot en PerplexityBot, helpen relevante bronnen boven water te halen wanneer gebruikers vragen stellen in ChatGPT of Perplexity. In tegenstelling tot trainingscrawlers kunnen zoekcrawlers daadwerkelijk verwijzingsverkeer terugsturen naar uitgevers via citaties en links in AI-gegenereerde antwoorden. Deze categorie biedt een potentiële kans op zichtbaarheid in opkomende AI-ontdekkingskanalen, die steeds belangrijker worden voor websiteverkeer.

De derde categorie bestaat uit door gebruikers geactiveerde fetchers die alleen actief worden wanneer gebruikers specifiek content aanvragen via AI-assistenten. Wanneer iemand een URL plakt in ChatGPT of Perplexity vraagt om een specifieke pagina te analyseren, halen deze fetchers de content op aanvraag op. Deze crawlers werken op aanzienlijk lagere volumes en worden niet gebruikt voor modeltraining, waardoor ze minder zorgen baren voor contentbescherming en toch waarde bieden voor door gebruikers geïnitieerde interacties.

Belangrijkste AI-crawlers en hun user agents

OpenAI beheert drie primaire crawlers met verschillende functies binnen het ChatGPT-ecosysteem. GPTBot is de belangrijkste trainingscrawler die data verzamelt voor modeltraining. Door deze crawler te blokkeren, voorkom je dat je content wordt opgenomen in toekomstige GPT-modelversies. OAI-SearchBot verzorgt realtime ophalen voor de zoekfuncties van ChatGPT en verzamelt geen trainingsdata, waardoor het waardevol is om zichtbaar te blijven in ChatGPT-zoekresultaten. ChatGPT-User wordt geactiveerd wanneer gebruikers specifiek content opvragen, maakt eenmalige bezoeken in plaats van systematische crawls en OpenAI bevestigt dat content die via deze agent wordt opgevraagd niet wordt gebruikt voor training.

De crawlerstrategie van Anthropic omvat ClaudeBot als de belangrijkste trainingsdataverzamelaar en Claude-User voor door gebruiker geactiveerd ophalen. Het bedrijf kreeg kritiek op zijn crawl-to-refer-verhouding, die volgens Cloudflare-gegevens varieert van 38.000:1 tot meer dan 70.000:1, afhankelijk van de periode. Dit betekent dat Anthropic veel meer content crawlt dan het terugverwijst naar uitgevers, waardoor het een primaire kandidaat is om te blokkeren als contentbescherming jouw prioriteit is.

De aanpak van Google gebruikt Google-Extended als een specifiek token dat bepaalt of door Googlebot gecrawlde content gebruikt mag worden voor Gemini AI-training. Dit is belangrijk omdat het blokkeren van Google-Extended van invloed kan zijn op je zichtbaarheid in de “Grounding with Google Search”-functie van Gemini, wat mogelijk minder citaties in AI-gegenereerde antwoorden oplevert. Echter, AI Overviews in Google Search volgen de standaardregels voor Googlebot, dus het blokkeren van Google-Extended heeft geen invloed op de reguliere zoekindexering.

Het dual-crawlersysteem van Perplexity omvat PerplexityBot voor het opbouwen van de zoekmachine-database en Perplexity-User voor door gebruiker geactiveerde bezoeken. Perplexity publiceert officiële IP-reeksen voor beide crawlers, zodat webmasters legitieme verzoeken kunnen verifiëren en voorkomen dat gespoofde user agents beperkingen omzeilen.

Je robots.txt-bestand configureren

De eenvoudigste manier om toegang voor AI-crawlers te beheren is via je robots.txt-bestand, dat richtlijnen bevat die crawlers vertellen wat ze wel en niet mogen benaderen. Elke User-agent-regel geeft aan voor welke crawler de regels gelden, en de daaropvolgende Allow- of Disallow-richtlijnen bepalen welke content die bot mag benaderen. Zonder een richtlijn na een User-agent-verklaring weet de bot niet wat te doen en wordt toegang meestal toegestaan.

Voor uitgevers die alle trainingscrawlers willen blokkeren maar zoek- en citatiecrawlers willen toestaan, werkt een gebalanceerde aanpak goed. Deze configuratie blokkeert GPTBot, ClaudeBot, anthropic-ai, Google-Extended, Meta-ExternalAgent en andere trainingscrawlers, terwijl OAI-SearchBot, PerplexityBot en door gebruiker geactiveerde fetchers worden toegestaan. Met deze strategie voorkom je dat je content wordt opgenomen in AI-modellen, terwijl je wel zichtbaar blijft in AI-gestuurde zoek- en ontdekplatformen.

# AI-trainingscrawlers blokkeren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# AI-zoekcrawlers toestaan
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Perplexity-User
Allow: /

Voor uitgevers die maximale bescherming zoeken, blokkeert een uitgebreide configuratie alle bekende AI-crawlers. Deze aanpak voorkomt dat welk AI-platform dan ook toegang krijgt tot je content, zowel voor training als zoekdoeleinden. Deze strategie heeft echter nadelen: je verliest zichtbaarheid in opkomende AI-ontdekkingskanalen en mogelijk ook verwijzingsverkeer uit AI-zoekresultaten.

Je kunt ook pad-specifieke regels toepassen die verschillende toegangsniveaus voor verschillende delen van je website toestaan. Zo kun je bijvoorbeeld trainingscrawlers toegang geven tot je openbare blogcontent, maar ze blokkeren voor privésecties of gevoelige informatie. Deze gedetailleerde aanpak biedt flexibiliteit voor uitgevers die contentbescherming willen balanceren met AI-zichtbaarheid.

Verder dan robots.txt: sterkere beschermingsmethoden

Hoewel robots.txt een startpunt biedt voor het beheren van AI-crawlertoegang, is het afhankelijk van de medewerking van crawlers aan je richtlijnen. Sommige crawlers houden zich niet aan robots.txt, en kwaadwillenden kunnen user agent-strings spoofen om beperkingen te omzeilen. Uitgevers die sterkere bescherming willen, moeten aanvullende technische maatregelen overwegen die onafhankelijk werken van crawler-compliance.

IP-verificatie en firewallregels zijn de meest betrouwbare methode om AI-crawlertoegang te controleren. Grote AI-bedrijven publiceren officiële IP-adresreeksen waarmee je legitieme crawlers kunt verifiëren. OpenAI publiceert IP-reeksen voor GPTBot, OAI-SearchBot en ChatGPT-User op respectievelijk openai.com/gptbot.json, openai.com/searchbot.json en openai.com/chatgpt-user.json. Amazon biedt IP-adressen voor Amazonbot op developer.amazon.com/amazonbot/ip-addresses/. Door geverifieerde IP’s in je firewall toe te staan en aanvragen van niet-gecontroleerde bronnen die zich voordoen als AI-crawlers te blokkeren, voorkom je dat gespoofde user agents je beperkingen omzeilen.

Server-side blocking met .htaccess biedt nog een extra beschermingslaag die onafhankelijk werkt van robots.txt. Voor Apache-servers kun je regels instellen die een 403 Forbidden-response teruggeven aan overeenkomende user agents, ongeacht of de crawler robots.txt respecteert. Zo voorkom je dat crawlers die robots.txt negeren toch toegang krijgen tot je content.

Configuratie van je Web Application Firewall (WAF) via diensten zoals Cloudflare stelt je in staat om geavanceerde regels te maken die user agent-matching combineren met IP-verificatie. Je kunt regels instellen die verzoeken alleen toestaan wanneer zowel de user agent overeenkomt met een bekende crawler ALS het verzoek afkomstig is van een officieel gepubliceerd IP-adres. Deze dubbele verificatie voorkomt gespoofde verzoeken en laat legitiem crawlerverkeer toe.

HTML-meta-tags bieden per pagina controle voor bepaalde crawlers. Amazon en sommige andere crawlers respecteren de noarchive-richtlijn, die crawlers vertelt de pagina niet te gebruiken voor modeltraining, terwijl andere indexeringsactiviteiten mogelijk wel zijn toegestaan. Je kunt dit toevoegen aan je paginakop: <meta name="robots" content="noarchive">.

De afwegingen bij het blokkeren van AI-crawlers

Bepalen of je AI-crawlers blokkeert, is niet eenvoudig, omdat elke beslissing aanzienlijke afwegingen met zich meebrengt die de zichtbaarheid en het verkeer van je website beïnvloeden. Zichtbaarheid in door AI aangedreven ontdekking wordt steeds belangrijker nu gebruikers overstappen van traditionele zoekopdrachten naar AI-gestuurde antwoordmachines. Wanneer gebruikers ChatGPT, Perplexity of de AI-functies van Google vragen stellen over onderwerpen die betrekking hebben op jouw content, kunnen ze citaties naar je website krijgen. Het blokkeren van zoekcrawlers kan je zichtbaarheid in deze opkomende platforms verminderen, wat je verkeer kan kosten naarmate AI-zoekopdrachten populairder worden.

Serverbelasting en bandbreedtekosten zijn een andere belangrijke overweging. AI-crawlers kunnen aanzienlijke serverbelasting veroorzaken. Sommige infrastructuurprojecten melden dat het blokkeren van AI-crawlers hun bandbreedteverbruik verminderde van 800GB naar 200GB per dag, wat ongeveer $1.500 per maand bespaarde. Uitgevers met veel verkeer kunnen aanzienlijke kostenbesparingen zien door selectief te blokkeren, waardoor deze beslissing economisch gerechtvaardigd is.

De kern blijft: trainingscrawlers gebruiken je content om modellen te bouwen die de noodzaak voor gebruikers om je site te bezoeken kunnen verminderen, terwijl zoekcrawlers content indexeren voor AI-gestuurde zoekopdrachten die mogelijk wel of geen verkeer terugsturen. Uitgevers moeten bepalen welke afwegingen passen bij hun bedrijfsmodel. Contentmakers en uitgevers die afhankelijk zijn van direct verkeer en advertentie-inkomsten zullen eerder trainingscrawlers blokkeren. Uitgevers die voordeel halen uit vermeldingen in AI-antwoorden zullen zoekcrawlers juist toestaan.

Controleren of crawlers je blokkades respecteren

Het instellen van robots.txt is slechts het begin van het beheren van AI-crawlertoegang. Je hebt inzicht nodig in of crawlers je richtlijnen daadwerkelijk respecteren en of nep-crawlers proberen je beperkingen te omzeilen. Het controleren van serverlogs laat precies zien welke crawlers je site bezoeken en wat ze opvragen. Je serverlogs staan doorgaans in /var/log/apache2/access.log voor Apache-servers of /var/log/nginx/access.log voor Nginx. Je kunt met grep-commando’s AI-crawlerpatronen filteren om te zien welke bots je contentpagina’s bezoeken.

Als je ziet dat geblokkeerde crawlers toch je contentpagina’s bezoeken, negeren ze mogelijk robots.txt. Dan zijn server-side blokkeren of firewallregels nodig. Je kunt dit commando uitvoeren op je Nginx- of Apache-logs om te zien welke AI-crawlers je website hebben bezocht:

grep -Ei "gptbot|oai-searchbot|chatgpt-user|claudebot|perplexitybot|google-extended|bingbot" access.log | awk '{print $1,$4,$7,$12}' | head

Nep-crawlers kunnen legitieme user agents spoofen om beperkingen te omzeilen en agressief content te scrapen. Iedereen kan zich voordoen als ClaudeBot vanaf hun laptop en crawlverzoeken doen met standaard commandoregeltools. De meest betrouwbare verificatiemethode is het controleren van het verzoek-IP aan de hand van officieel opgegeven IP-reeksen. Komt het IP overeen met een officiële lijst, dan kun je het verzoek toestaan; anders blokkeren. Deze aanpak voorkomt gespoofde verzoeken en laat legitiem crawlerverkeer toe.

Analytics- en monitoringtools maken steeds beter onderscheid tussen botverkeer en menselijke bezoekers. Cloudflare Radar volgt AI-botverkeer wereldwijd en biedt inzicht in welke crawlers het meest actief zijn. Voor sitespecifieke monitoring kun je letten op onverwachte verkeerspatronen die kunnen wijzen op crawleractiviteit. AI-crawlers vertonen vaak piekgedrag: ze doen veel verzoeken in korte tijd en zijn daarna weer stil, wat verschilt van het stabiele verkeer van menselijke bezoekers.

Je crawler-blocklist up-to-date houden

Het AI-crawlerlandschap verandert snel, met regelmatig nieuwe crawlers en updates aan bestaande user agents. Een effectieve AI-blockerstrategie vereist doorlopende aandacht om nieuwe crawlers en wijzigingen bij bestaande crawlers te detecteren. Controleer je serverlogs regelmatig op user agent-strings met “bot”, “crawler”, “spider” of bedrijfsnamen als “GPT”, “Claude” of “Perplexity”. Het ai.robots.txt-project op GitHub onderhoudt een door de community bijgewerkte lijst van bekende AI-crawlers en user agents die je kunt raadplegen.

Bekijk je crawlanalyses minstens elk kwartaal om nieuwe crawlers op je platforms te signaleren. Tools zoals Cloudflare Radar geven inzicht in AI-crawlerverkeer en kunnen helpen bij het identificeren van nieuwe bots. Test je implementaties regelmatig door te controleren of je robots.txt en server-side blokkades werken door crawlertoegang in je analytics te checken. Nieuwe crawlers verschijnen vaak, dus plan periodieke reviews van je blocklist om aanvullingen te vangen en je configuratie actueel te houden.

Opkomende crawlers om op te letten zijn browsergebaseerde AI-agents van bedrijven als xAI (Grok), Mistral en anderen. Deze agents kunnen user agent-strings gebruiken als GrokBot, xAI-Grok of MistralAI-User. Sommige AI-browseragents, zoals OpenAI’s Operator en vergelijkbare producten, gebruiken geen onderscheidende user agents en verschijnen als standaard Chrome-verkeer, waardoor ze met traditionele methoden niet te blokkeren zijn. Dit vormt een nieuwe uitdaging voor uitgevers die AI-toegang tot hun content willen beheersen.