Waarom sommige AI-crawlers robots.txt negeren: problemen met stealth crawling

De opkomst van stealth crawling in AI

Webcrawling is fundamenteel veranderd met de opkomst van kunstmatige intelligentiesystemen. In tegenstelling tot traditionele zoekmachines die gevestigde protocollen respecteren, hebben sommige AI-bedrijven stealth crawling omarmd—het bewust verhullen van hun botactiviteiten om websitebeperkingen en robots.txt-richtlijnen te omzeilen. Deze praktijk vormt een aanzienlijke breuk met de samenwerking die webcrawling bijna drie decennia lang heeft gekenmerkt en roept essentiële vragen op over content-eigendom, data-ethiek en de toekomst van het open internet.

Het bekendste voorbeeld betreft Perplexity AI, een AI-gestuurde antwoordmachine die is betrapt op het gebruik van niet-gedeclareerde crawlers om content te benaderen die expliciet door website-eigenaren wordt geblokkeerd. Uit onderzoek van Cloudflare bleek dat Perplexity zowel gedeclareerde crawlers (die zich eerlijk identificeren) als stealth crawlers (die zich voordoen als gewone webbrowsers) onderhoudt om blokkadepogingen te omzeilen. Dankzij deze dubbele crawlerstrategie kan Perplexity content blijven verzamelen, zelfs wanneer websites hun toegang expliciet weigeren via robots.txt-bestanden en firewallregels.

Robots.txt begrijpen en de beperkingen ervan

Het robots.txt-bestand is sinds 1994 het belangrijkste mechanisme van het internet voor het beheren van crawlers, geïntroduceerd als onderdeel van het Robots Exclusion Protocol. Dit eenvoudige tekstbestand, geplaatst in de hoofdmap van een website, bevat instructies die crawlers vertellen welke delen van een site ze wel en niet mogen benaderen. Een typische robots.txt-regel ziet er als volgt uit:

User-agent: GPTBot
Disallow: /

Deze instructie vertelt de GPTBot-crawler van OpenAI om geen enkele content op de website te benaderen. Echter, robots.txt werkt op basis van een fundamenteel principe: het is volledig vrijwillig. De instructies in robots.txt-bestanden kunnen het gedrag van crawlers niet afdwingen; het is aan de crawler zelf om ze te gehoorzamen. Terwijl Googlebot en andere respectabele webcrawlers deze richtlijnen volgen, kent het protocol geen handhavingsmechanisme. Een crawler kan robots.txt simpelweg volledig negeren, en er is technisch gezien geen manier om dit te voorkomen.

Het onderscheid tussen welwillende en malafide crawlers wordt steeds belangrijker. Gerenommeerde AI-bedrijven zoals OpenAI en Anthropic publiceren hun crawler-IP-ranges, houden hun documentatie transparant en respecteren de voorkeuren van website-eigenaren. Daarentegen verbergen stealth crawlers bewust hun identiteit en negeren ze websiterichtlijnen, waarbij robots.txt wordt gezien als een obstakel in plaats van een richtlijn.

De Perplexity-case: stealth tactieken onthuld

Het gedetailleerde onderzoek van Cloudflare naar het crawlgedrag van Perplexity biedt tot nu toe de meest uitgebreide documentatie van stealth crawling-tactieken. Het onderzoeksteam creëerde meerdere testdomeinen met expliciete robots.txt-richtlijnen die alle geautomatiseerde toegang verbieden. Ondanks deze duidelijke beperkingen bleef Perplexity via hun AI-interface gedetailleerde informatie verstrekken over de content van deze testdomeinen.

Het onderzoek bracht een geavanceerde tweevoudige crawlstrategie aan het licht. De gedeclareerde crawler van Perplexity (Perplexity-User) doet dagelijks 20-25 miljoen verzoeken en identificeert zich eerlijk. Wanneer deze gedeclareerde crawler echter wordt geblokkeerd door een netwerk- of robots.txt-beperking, zet Perplexity een niet-gedeclareerde stealth crawler in die dagelijks 3-6 miljoen extra verzoeken doet terwijl hij zich voordoet als een legitieme Chrome-browser op macOS. Deze stealth-variant gebruikt de generieke user agent-string: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36.

De stealth crawler past meerdere ontwijkingstechnieken tegelijk toe. Hij roteert IP-adressen die niet in de officiële IP-range-documentatie van Perplexity staan, waardoor website-eigenaren niet kunnen blokkeren op basis van bekende Perplexity-infrastructuur. Daarnaast wisselt de crawler van bron-ASN’s—de netwerkprovideridentificatoren—om zijn oorsprong verder te verhullen. Deze activiteit werd waargenomen op tienduizenden domeinen, met miljoenen verzoeken per dag als gevolg.

Terwijl Cloudflare identieke tests uitvoerde met ChatGPT, werd een fundamenteel ander gedrag waargenomen. ChatGPT-User haalde het robots.txt-bestand op, herkende de disallow-instructie en stopte onmiddellijk met crawl-pogingen. Bij een netwerkblokkade werden geen vervolgacties ondernomen vanaf alternatieve user agents of IP-adressen. Dit toont aan dat conform gedrag technisch mogelijk is en dat bedrijven die robots.txt negeren, een bewuste zakelijke keuze maken in plaats van tegen technische beperkingen aan te lopen.

Technische mechanismen van stealth crawling

Stealth crawlers beschikken over een geavanceerd arsenaal aan technieken om detectie te ontlopen en websitebeperkingen te omzeilen. Inzicht in deze mechanismen is essentieel voor het ontwikkelen van effectieve tegenmaatregelen:

• User agent spoofing: Crawlers doen zich voor als legitieme browsers door realistische user agent-strings te gebruiken die overeenkomen met echte Chrome-, Safari- of Firefox-browsers. Hierdoor zijn ze op het eerste gezicht niet te onderscheiden van menselijke bezoekers.

• IP-rotatie en proxy-netwerken: In plaats van te crawlen vanaf één IP-adres of bekende datacenterrange, verspreiden stealth crawlers verzoeken over honderden of duizenden verschillende IP-adressen, vaak via residentiële proxy-netwerken die verkeer door echte thuisverbindingen leiden.

• ASN-rotatie: Door het wisselen van Autonomous System Numbers (de netwerkprovideridentificatie), lijken crawlers afkomstig van verschillende internetproviders, waardoor IP-gebaseerde blokkades ineffectief worden.

• Headless browser-simulatie: Moderne stealth crawlers draaien echte browser-engines (Chrome Headless, Puppeteer, Playwright) die JavaScript uitvoeren, cookies opslaan en realistische gebruikersinteractie simuleren, zoals muisbewegingen en willekeurige vertragingen.

• Rate-manipulatie: In plaats van snelle, opeenvolgende verzoeken te doen die rate-limitdetectie activeren, introduceren geavanceerde crawlers variabele vertragingen tussen verzoeken om natuurlijk menselijk surfgedrag na te bootsen.

• Fingerprint-randomisatie: Crawlers randomiseren browserfingerprints—kenmerken zoals schermresolutie, tijdzone, geïnstalleerde lettertypen en TLS-handtekeningen—om detectie door device fingerprinting-systemen te vermijden.

Deze technieken worden gecombineerd ingezet en vormen zo een gelaagde ontwijkstrategie waarmee traditionele detectiemethoden worden omzeild. Een crawler kan tegelijkertijd een gespoofte user agent gebruiken, via een residentieel proxy-netwerk gaan, willekeurige vertragingen inbouwen en zijn fingerprint randomiseren, waardoor hij vrijwel niet van legitiem verkeer te onderscheiden is.

Waarom bedrijven robots.txt negeren

De keuze om stealth crawlers in te zetten wordt fundamenteel gedreven door datahonger. Het trainen van geavanceerde grote taalmodellen vereist enorme hoeveelheden hoogwaardige tekstdata. De meest waardevolle content—eigen onderzoek, betaalde artikelen, exclusieve forumdiscussies en gespecialiseerde kennisbanken—is vaak expliciet beperkt door website-eigenaren. Bedrijven staan voor de keuze: de voorkeuren van websites respecteren en genoegen nemen met minderwaardige trainingsdata, of beperkingen omzeilen en toegang krijgen tot premium content.

De concurrentiedruk is enorm. AI-bedrijven die miljarden investeren in modelontwikkeling zijn ervan overtuigd dat betere trainingsdata direct leiden tot betere modellen en dus tot marktoverwicht. Wanneer concurrenten bereid zijn om beperkte content te scrapen, wordt het respecteren van robots.txt een concurrentienadeel. Dit creëert een race naar de bodem waarbij ethisch gedrag door de markt wordt afgestraft.

Bovendien zijn handhavingsmechanismen vrijwel afwezig. Website-eigenaren kunnen een vastberaden crawler technisch niet tegenhouden. Juridische stappen zijn traag, kostbaar en onzeker. Tenzij een website formele juridische stappen onderneemt—wat middelen vereist die de meeste organisaties niet hebben—staat een malafide crawler geen directe consequenties te wachten. Het risico-batenplaatje valt sterk uit in het voordeel van robots.txt negeren.

Ook het juridische landschap blijft vaag. Hoewel overtredingen van robots.txt mogelijk in strijd zijn met de gebruiksvoorwaarden, verschilt de juridische status van het scrapen van openbare data per jurisdictie. Sommige rechtbanken hebben geoordeeld dat het scrapen van openbare data legaal is, terwijl anderen schendingen van de Computer Fraud and Abuse Act hebben vastgesteld. Deze onzekerheid moedigt bedrijven aan die bereid zijn in het grijze gebied te opereren.

De impact op contentmakers en uitgevers

De gevolgen van stealth crawling gaan veel verder dan technische overlast. Reddit ontdekte dat zijn door gebruikers gegenereerde content werd gebruikt voor het trainen van AI-modellen zonder toestemming of compensatie. Als reactie verhoogde het platform de API-prijzen drastisch, specifiek om AI-bedrijven te laten betalen voor data, waarbij CEO Steve Huffman Microsoft, OpenAI, Anthropic en Perplexity expliciet benoemde voor “het gratis gebruiken van Reddit’s data”.

Twitter/X ging nog verder en blokkeerde tijdelijk alle niet-ingelogde toegang tot tweets en voerde strikte limieten in voor ingelogde gebruikers. Elon Musk verklaarde expliciet dat dit een noodmaatregel was om “honderden organisaties” te stoppen met het scrapen van Twitter-data, wat de gebruikerservaring aantastte en enorme serverresources vergde.

Nieuwsuitgevers waren bijzonder uitgesproken over de dreiging. The New York Times, CNN, Reuters en The Guardian hebben allemaal hun robots.txt-bestanden bijgewerkt om GPTBot van OpenAI te blokkeren. Sommige uitgevers zijn juridische stappen gestart, met The New York Times die een auteursrechtzaak aanspande tegen OpenAI. The Associated Press koos voor een andere benadering en onderhandelde een licentiedeal met OpenAI om geselecteerde nieuwscontent te leveren in ruil voor toegang tot de technologie van OpenAI—een van de eerste commerciële afspraken in zijn soort.

Stack Overflow kreeg te maken met gecoördineerde scraping-operaties waarbij aanvallers duizenden accounts aanmaakten en geavanceerde technieken gebruikten om zich als legitieme gebruikers voor te doen, terwijl ze codevoorbeelden verzamelden. Het engineeringteam van het platform documenteerde hoe scrapers identieke TLS-fingerprints gebruikten over veel verbindingen, sessies aanhielden en zelfs betaalden voor premiumaccounts om detectie te vermijden.

De rode draad in al deze gevallen is verlies van controle. Contentmakers kunnen niet langer bepalen hoe hun werk wordt gebruikt, wie ervan profiteert of of ze compensatie krijgen. Dit vertegenwoordigt een fundamentele verschuiving in de machtsverhoudingen op het internet.

Detectie- en handhavingsoplossingen

Gelukkig ontwikkelen organisaties geavanceerde tools om stealth crawlers te detecteren en te blokkeren. Cloudflare’s AI Crawl Control (voorheen AI Audit) geeft inzicht in welke AI-diensten je content benaderen en of ze je robots.txt-beleid respecteren. De nieuwe Robotcop-functie van het platform gaat nog een stap verder en vertaalt robots.txt-richtlijnen automatisch naar Web Application Firewall (WAF)-regels die naleving afdwingen op netwerkniveau.

Device fingerprinting is een krachtige detectietechniek. Door tientallen signalen te analyseren—browserversie, schermresolutie, besturingssysteem, geïnstalleerde lettertypen, TLS-handtekeningen en gedrags-patronen—kunnen beveiligingssystemen inconsistenties opsporen die bot-activiteit verraden. Een crawler die zich voordoet als Chrome op macOS kan bijvoorbeeld een TLS-fingerprint hebben die niet overeenkomt met echte Chrome-browsers, of bepaalde browser-API’s missen die echte browsers wel bieden.

Gedragsanalyse kijkt naar hoe bezoekers met je site omgaan. Echte gebruikers vertonen natuurlijke patronen: ze nemen de tijd om content te lezen, navigeren logisch tussen pagina’s, maken fouten en corrigeren deze. Bots vertonen vaak typische patronen: ze benaderen pagina’s in onnatuurlijke volgordes, laden bronnen in ongebruikelijke volgordes, interacteren nooit met interactieve elementen of bezoeken pagina’s met onmogelijke snelheden.

Rate limiting blijft effectief als het wordt gecombineerd met andere technieken. Door strikte aanvragenlimieten per IP-adres, sessie en gebruikersaccount af te dwingen, kunnen organisaties scrapers genoeg vertragen om de operatie economisch onaantrekkelijk te maken. Exponential backoff—waarbij elke overtreding de wachttijd vergroot—ontmoedigt geautomatiseerde aanvallen verder.

AmICited: AI-crawlergedrag monitoren

AmICited pakt een cruciaal gat in het huidige landschap aan: inzicht in welke AI-systemen daadwerkelijk jouw merk en content vermelden. Terwijl tools zoals Cloudflare’s AI Crawl Control laten zien welke crawlers je site benaderen, gaat AmICited verder door bij te houden welke AI-systemen—ChatGPT, Perplexity, Google Gemini, Claude en anderen—je content daadwerkelijk in hun antwoorden gebruiken.

Dit onderscheid is essentieel. Een crawler die je site benadert betekent niet per se dat je content ook wordt vermeld. Omgekeerd kan je content worden genoemd door AI-systemen die het indirect (bijvoorbeeld via Common Crawl-datasets) hebben verkregen in plaats van direct te crawlen. AmICited biedt het ontbrekende puzzelstuk: bewijs dat je content door AI-systemen wordt gebruikt, samen met gedetailleerde informatie over hoe deze wordt vermeld.

Het platform identificeert stealth crawlers die je content benaderen door verkeerspatronen, user agents en gedrags-signalen te analyseren. Als AmICited verdachte crawleractiviteit detecteert—vooral niet-gedeclareerde crawlers met gespoofte user agents—worden deze gemarkeerd als mogelijke stealth crawling-pogingen. Zo kunnen website-eigenaren actie ondernemen tegen niet-conforme crawlers en tegelijkertijd inzicht behouden in legitiem AI-verkeer.

Realtime waarschuwingen informeren je wanneer stealth crawlers worden gedetecteerd, zodat je snel kunt reageren. Integratie met bestaande SEO- en beveiligingsworkflows betekent dat je AmICited-gegevens kunt opnemen in je bredere contentstrategie en beveiligingshouding. Voor organisaties die zich zorgen maken over het gebruik van hun content in het AI-tijdperk, biedt AmICited onmisbare informatie.

Best practices voor bescherming

Het beschermen van je content tegen stealth crawlers vereist een gelaagde aanpak:

Implementeer duidelijke robots.txt-richtlijnen: Hoewel stealth crawlers robots.txt mogelijk negeren, zullen conforme crawlers deze respecteren. Weiger expliciet crawlers die je content niet mogen benaderen. Voeg richtlijnen toe voor bekende AI-crawlers zoals GPTBot, ClaudeBot en Google-Extended.

Stel WAF-regels in: Gebruik Web Application Firewall-regels om je robots.txt-beleid op netwerkniveau af te dwingen. Tools zoals Cloudflare’s Robotcop kunnen deze regels automatisch genereren op basis van je robots.txt-bestand.

Monitor crawlergedrag regelmatig: Gebruik tools zoals AmICited en Cloudflare’s AI Crawl Control om te volgen welke crawlers je site benaderen en of ze je richtlijnen respecteren. Regelmatige monitoring helpt je stealth crawlers snel te identificeren.

Implementeer device fingerprinting: Zet device fingerprinting-oplossingen in die browserkenmerken en gedrags-patronen analyseren om bots die zich voordoen als legitieme gebruikers te identificeren.

Overweeg authenticatie voor gevoelige content: Vereis voor je meest waardevolle content authenticatie of implementeer betaalmuren. Dit voorkomt dat zowel legitieme als stealth crawlers beperkte materialen kunnen benaderen.

Blijf op de hoogte van crawler-tactieken: Het landschap van crawler-ontwijkingstechnieken verandert voortdurend. Abonneer je op beveiligingsbulletins, volg brancheonderzoek en werk je verdediging bij zodra nieuwe tactieken opduiken.

De toekomst van crawler-naleving

De huidige situatie—waarin sommige AI-bedrijven robots.txt openlijk negeren en anderen deze respecteren—is onhoudbaar. Branche- en regelgevende reacties tekenen zich al af. De Internet Engineering Task Force (IETF) werkt aan uitbreidingen van de robots.txt-specificatie die meer gedetailleerde controle over AI-training en datagebruik mogelijk maken. Met deze uitbreidingen kunnen website-eigenaren verschillende beleidsregels instellen voor zoekmachines, AI-training en andere gebruiksdoeleinden.

Web Bot Auth, een recent voorgestelde open standaard, stelt crawlers in staat hun verzoeken cryptografisch te ondertekenen en zo hun identiteit en legitimiteit te bewijzen. OpenAI’s ChatGPT Agent implementeert deze standaard al, waarmee wordt aangetoond dat transparante, verifieerbare crawler-identificatie technisch mogelijk is.

Regelgevende veranderingen zijn waarschijnlijk. De aanpak van de Europese Unie op het gebied van AI-regulering, gecombineerd met groeiende druk van contentmakers en uitgevers, suggereert dat toekomstige regelgeving mogelijk wettelijke eisen aan crawler-naleving zal stellen. Bedrijven die robots.txt negeren, kunnen dan niet alleen reputatieschade, maar ook regelgevende sancties tegemoetzien.

De sector verschuift naar een model waarin transparantie en naleving competitieve voordelen worden in plaats van lasten. Bedrijven die de voorkeuren van website-eigenaren respecteren, hun crawlers duidelijk identificeren en waarde bieden aan contentmakers, bouwen aan vertrouwen en duurzame relaties. Bedrijven die zich beroepen op stealth-tactieken lopen toenemende technische, juridische en reputatierisico’s.

Voor website-eigenaren is de boodschap duidelijk: proactieve monitoring en handhaving zijn essentieel. Door de hierboven beschreven tools en praktijken toe te passen, kun je de controle behouden over hoe je content wordt gebruikt in het AI-tijdperk en ondersteun je de ontwikkeling van verantwoorde AI-systemen die de fundamentele principes van het open internet respecteren.