Varför vissa AI-crawlers ignorerar robots.txt: problem med stealth crawling

Stealth-crawlingens uppgång inom AI

Webbcrawling har fundamentalt förändrats med framväxten av artificiella intelligenssystem. Till skillnad från traditionella sökmotorer som respekterar etablerade protokoll har vissa AI-företag tagit till stealth crawling—att avsiktligt dölja sin bot-aktivitet för att kringgå webbplatsbegränsningar och robots.txt-direktiv. Denna praxis innebär ett betydande avsteg från det samarbete som kännetecknat webbcrawling i nästan tre decennier, och väcker viktiga frågor om innehavsägande, dataetik och framtiden för det öppna internet.

Det mest framträdande exemplet gäller Perplexity AI, en AI-driven svarsmotor som ertappats med att använda icke-deklarerade crawlers för att få åtkomst till innehåll som webbplatsägare uttryckligen blockerat. Cloudflares undersökning visade att Perplexity håller sig med både deklarerade crawlers (som identifierar sig ärligt) och stealth-crawlers (som utger sig för att vara vanliga webbläsare) för att kringgå blockeringar. Denna dubbla crawler-strategi gör att Perplexity kan fortsätta samla in innehåll även när webbplatser uttryckligen förbjuder åtkomst via robots.txt-filer och brandväggsregler.

Förstå robots.txt och dess begränsningar

Filen robots.txt har varit internets huvudsakliga mekanism för crawler-hantering sedan 1994, då den först introducerades som en del av Robots Exclusion Protocol. Denna enkla textfil, placerad i webbplatsens rotkatalog, innehåller direktiv som talar om för crawlers vilka delar av webbplatsen de får respektive inte får besöka. En typisk robots.txt-post kan se ut så här:

User-agent: GPTBot
Disallow: /

Denna instruktion talar om för OpenAI:s GPTBot-crawler att undvika att få åtkomst till något innehåll på webbplatsen. Men robots.txt bygger på en grundläggande princip: den är helt frivillig. Instruktionerna i robots.txt-filer kan inte tvinga fram crawlerbeteende; det är upp till crawlern att lyda dem. Medan Googlebot och andra respekterade webbcrawlers följer dessa direktiv saknar protokollet någon verkställighetsmekanism. En crawler kan helt enkelt ignorera robots.txt, och det finns inget tekniskt sätt att hindra den från att göra det.

Skillnaden mellan välbeteende och illasinnade crawlers har blivit allt viktigare. Ansvarsfulla AI-företag som OpenAI och Anthropic publicerar sina crawler-IP-intervall, har transparent dokumentation och respekterar webbplatsägares önskemål. Stealth-crawlers döljer däremot medvetet sin identitet och ignorerar webbplatsdirektiv, och ser robots.txt som ett hinder att övervinna snarare än en riktlinje att följa.

Perplexity-fallet: avslöjade stealth-taktiker

Cloudflares detaljerade undersökning av Perplexitys crawling-beteende ger den mest omfattande dokumentationen hittills av stealth-crawling-taktiker. Forskarteamet skapade flera testdomäner med uttryckliga robots.txt-direktiv som förbjöd all automatiserad åtkomst. Trots dessa tydliga begränsningar fortsatte Perplexity att ge detaljerad information om testdomänernas innehåll när man ställde frågor via deras AI-gränssnitt.

Undersökningen avslöjade en sofistikerad tvådelad crawling-strategi. Perplexitys deklarerade crawler (Perplexity-User) gör 20–25 miljoner förfrågningar dagligen och identifierar sig ärligt. Men när denna deklarerade crawler stöter på ett nätverksblock eller robots.txt-begränsning sätter Perplexity in en icke-deklarerad stealth-crawler som gör ytterligare 3–6 miljoner dagliga förfrågningar medan den utger sig för att vara en legitim Chrome-webbläsare på macOS. Denna stealth-variant använder den generiska user agent-strängen: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36.

Stealth-crawlern använder flera undvikandetekniker samtidigt. Den roterar IP-adresser som inte finns med i Perplexitys officiella IP-intervall, vilket gör det omöjligt för webbplatsägare att blockera baserat på känd Perplexity-infrastruktur. Dessutom byter crawlern ut sitt ursprungsnätverk (ASN)—nätverksleverantörens identifierare—för att ytterligare dölja sitt ursprung. Denna aktivitet observerades över tiotusentals domäner och genererade miljontals förfrågningar per dag.

I skarp kontrast observerade Cloudflare vid identiska tester med ChatGPT ett fundamentalt annorlunda beteende. ChatGPT-User hämtade robots.txt-filen, uppfattade disallow-direktivet och slutade omedelbart försöka crawla. Vid nätverksblockerade domäner gjorde ChatGPT inga nya försök från alternativa user agents eller IP-adresser. Detta visar att följsamt beteende är tekniskt möjligt och att företag som väljer att ignorera robots.txt gör medvetna affärsbeslut och inte begränsas tekniskt.

Tekniska mekanismer för stealth crawling

Stealth-crawlers använder ett sofistikerat arsenal av tekniker för att undvika upptäckt och kringgå webbplatsbegränsningar. Att förstå dessa mekanismer är avgörande för att utveckla effektiva motåtgärder:

• User agent spoofing: Crawlers utger sig för att vara legitima webbläsare genom att använda realistiska user agent-strängar som motsvarar verkliga Chrome-, Safari- eller Firefox-webbläsare. Detta gör dem svåra att skilja från mänskliga besökare vid första anblick.

• IP-rotation och proxy-nätverk: Istället för att crawla från en enskild IP-adress eller ett känt datacenterintervall distribuerar stealth-crawlers förfrågningar över hundratals eller tusentals olika IP-adresser, ofta via så kallade residential proxy-nätverk som skickar trafiken genom riktiga heminternetanslutningar.

• ASN-rotation: Genom att byta Autonomous System Number (nätverksleverantörens identifierare) verkar crawlers komma från olika internetleverantörer, vilket gör IP-baserad blockering ineffektiv.

• Headless browser-simulering: Moderna stealth-crawlers kör faktiska webbläsarmotorer (Chrome Headless, Puppeteer, Playwright) som kör JavaScript, hanterar cookies och simulerar realistiska användarinteraktioner inklusive musrörelser och slumpmässiga fördröjningar.

• Takhastighetsmanipulering: Istället för att göra snabba, sekventiella förfrågningar som triggar hastighetsbegränsning inför avancerade crawlers variabla fördröjningar mellan förfrågningar och efterliknar mänskligt surfbeteende.

• Fingeravtrycksrandomisering: Crawlers randomiserar webbläsarfingeravtryck—egenskaper som skärmupplösning, tidszon, installerade typsnitt och TLS-handshake-signaturer—för att undvika upptäckt av system för enhetsfingeravtryck.

Dessa tekniker används i kombination och skapar en flerskiktad undvikandestrategi som slår ut traditionella upptäcktsmetoder. En crawler kan samtidigt använda en förfalskad user agent, gå via en residential proxy, införa slumpmässiga fördröjningar och randomisera sitt fingeravtryck, vilket gör den nästintill omöjlig att särskilja från legitim trafik.

Varför företag ignorerar robots.txt

Beslutet att använda stealth-crawlers drivs i grunden av datatörst. Att träna toppmoderna stora språkmodeller kräver enorma mängder högkvalitativ textdata. Det mest värdefulla innehållet—proprietär forskning, betalväggade artiklar, exklusiva forumdiskussioner och specialiserade kunskapsbaser—är ofta uttryckligen begränsat av webbplatsägare. Företag står inför ett val: respektera webbplatsägares önskemål och nöja sig med sämre träningsdata, eller kringgå begränsningarna och komma åt premiuminnehåll.

Konkurrenstrycket är intensivt. AI-företag som investerar miljarder dollar i modellutveckling tror att bättre träningsdata direkt leder till bättre modeller, vilket ger marknadsfördelar. När konkurrenter är villiga att skrapa begränsat innehåll blir det ett konkurrensnackdel att respektera robots.txt. Detta skapar en “race-to-the-bottom”-dynamik där etiskt beteende bestraffas av marknaden.

Dessutom är verkställighetsmekanismer i princip obefintliga. Webbplatsägare kan inte tekniskt förhindra en beslutsam crawler från att få åtkomst till deras innehåll. Juridiska åtgärder är långsamma, dyra och osäkra. Om inte en webbplats vidtar formella juridiska åtgärder—vilket kräver resurser de flesta organisationer saknar—möter en illasinnad crawler inga omedelbara konsekvenser. Risk-belöningskalkylen gynnar starkt att ignorera robots.txt.

Den juridiska situationen är också oklar. Även om överträdelser av robots.txt kan bryta mot användarvillkoren varierar den juridiska statusen för scraping av offentliga data mellan jurisdiktioner. Vissa domstolar har beslutat att scraping av offentliga data är lagligt, medan andra har funnit att det strider mot Computer Fraud and Abuse Act. Denna osäkerhet uppmuntrar företag som är villiga att verka i gråzonen.

Konsekvenser för innehållsskapare och publicister

Konsekvenserna av stealth-crawling går långt utöver tekniska besvär. Reddit upptäckte att dess användargenererade innehåll användes för att träna AI-modeller utan tillåtelse eller ersättning. Som svar höjde plattformen dramatiskt API-priserna specifikt för att ta betalt av AI-företag för dataåtkomst, där VD Steve Huffman uttryckligen pekade ut Microsoft, OpenAI, Anthropic och Perplexity för att “använda Reddits data gratis”.

Twitter/X tog en ännu mer aggressiv hållning och blockerade tillfälligt all oautentiserad åtkomst till tweets samt införde strikta takhastighetsgränser för autentiserade användare. Elon Musk förklarade uttryckligen att detta var en akut åtgärd för att stoppa “hundratals organisationer” från att skrapa Twitter-data, vilket försämrade användarupplevelsen och förbrukade massiva serverresurser.

Nyhetspublicister har varit särskilt högljudda om hotet. The New York Times, CNN, Reuters och The Guardian uppdaterade alla sina robots.txt-filer för att blockera OpenAI:s GPTBot. Vissa publicister har vidtagit rättsliga åtgärder, där New York Times har lämnat in en stämningsansökan om upphovsrättsintrång mot OpenAI. Associated Press valde en annan väg och slöt ett licensavtal med OpenAI om att tillhandahålla utvalt nyhetsinnehåll i utbyte mot tillgång till OpenAI:s teknik—en av de första kommersiella överenskommelserna i sitt slag.

Stack Overflow utsattes för koordinerade scraping-operationer där angripare skapade tusentals konton och använde sofistikerade tekniker för att smälta in som legitima användare medan de samlade in kodexempel. Plattformens ingenjörsteam dokumenterade hur scrapers använder identiska TLS-fingeravtryck över många anslutningar, upprätthåller persistenta sessioner och till och med betalar för premiumkonton för att undvika upptäckt.

Den gemensamma nämnaren i alla dessa fall är förlust av kontroll. Innehållsskapare kan inte längre bestämma hur deras verk används, vem som drar nytta av det eller om de får någon ersättning. Detta innebär en grundläggande förändring i internets maktbalans.

Upptäckts- och verkställighetslösningar

Lyckligtvis utvecklas sofistikerade verktyg för att upptäcka och blockera stealth-crawlers. Cloudflares AI Crawl Control (tidigare AI Audit) ger insyn i vilka AI-tjänster som får åtkomst till ditt innehåll och om de respekterar dina robots.txt-policyer. Plattformens nya Robotcop-funktion går längre och översätter automatiskt robots.txt-direktiv till WAF-regler (Web Application Firewall) som verkställer efterlevnad på nätverksnivå.

Enhetsfingeravtryck är en kraftfull upptäcktsteknik. Genom att analysera dussintals signaler—webbläsarversion, skärmupplösning, operativsystem, installerade typsnitt, TLS-handshake-signaturer och beteendemönster—kan säkerhetssystem identifiera inkonsekvenser som avslöjar botaktivitet. En crawler som utger sig för att vara Chrome på macOS kan ha ett TLS-fingeravtryck som inte matchar legitima Chrome-webbläsare, eller sakna vissa webbläsar-API:er som riktiga webbläsare exponerar.

Beteendeanalys granskar hur besökare interagerar med din webbplats. Riktiga användare uppvisar naturliga mönster: de spenderar tid på att läsa innehåll, navigerar logiskt mellan sidor, gör fel och rättar dem. Bots uppvisar ofta tydliga mönster: de besöker sidor i onaturliga sekvenser, laddar resurser i ovanlig ordning, interagerar aldrig med interaktiva element eller besöker sidor i omöjliga hastigheter.

Takhastighetsbegränsning är fortsatt effektiv i kombination med andra tekniker. Genom att införa strikta förfrågningsgränser per IP-adress, session och användarkonto kan organisationer bromsa scrapers tillräckligt för att göra operationen olönsam. Exponentiell backoff—där varje överträdelse ökar väntetiden—avskräcker ytterligare automatiserade attacker.

AmICited: övervakning av AI-crawlerbeteende

AmICited fyller en kritisk lucka i dagens landskap: insyn i vilka AI-system som faktiskt citerar ditt varumärke och innehåll. Medan verktyg som Cloudflares AI Crawl Control visar vilka crawlers som får åtkomst till din webbplats går AmICited längre genom att spåra vilka AI-system—ChatGPT, Perplexity, Google Gemini, Claude och andra—som faktiskt refererar till ditt innehåll i sina svar.

Denna distinktion är avgörande. En crawler som får åtkomst till din webbplats innebär inte nödvändigtvis att ditt innehåll kommer att citeras. Omvänt kan ditt innehåll citeras av AI-system som fått tillgång till det via indirekta vägar (som Common Crawl-dataset) istället för direkt crawling. AmICited tillhandahåller den saknade pusselbiten: bevis på att ditt innehåll används av AI-system, tillsammans med detaljerad information om hur det refereras.

Plattformen identifierar stealth-crawlers som får åtkomst till ditt innehåll genom att analysera trafikmönster, user agents och beteendesignaler. När AmICited upptäcker misstänkt crawler-aktivitet—särskilt icke-deklarerade crawlers med förfalskade user agents—flaggar den dessa som potentiella stealth crawling-försök. Detta gör att webbplatsägare kan agera mot icke-följsamma crawlers samtidigt som de behåller insyn i legitim AI-åtkomst.

Realtidsvarningar meddelar dig när stealth-crawlers upptäcks, vilket möjliggör snabba åtgärder. Integrering med befintliga SEO- och säkerhetsarbetsflöden innebär att du kan införliva AmICited-data i din övergripande innehållsstrategi och säkerhetsarbete. För organisationer som oroar sig för hur deras innehåll används i AI-eran erbjuder AmICited avgörande insikter.

Bästa praxis för skydd

Att skydda ditt innehåll mot stealth-crawlers kräver ett flerskiktat angreppssätt:

Implementera tydliga robots.txt-policyer: Även om stealth-crawlers kan ignorera robots.txt kommer följsamma crawlers att respektera den. Förbjud uttryckligen crawlers du inte vill ska få åtkomst till ditt innehåll. Inkludera direktiv för kända AI-crawlers som GPTBot, ClaudeBot och Google-Extended.

Använd WAF-regler: Använd Web Application Firewall-regler för att genomdriva dina robots.txt-policyer på nätverksnivå. Verktyg som Cloudflares Robotcop kan automatiskt generera dessa regler från din robots.txt-fil.

Övervaka crawlerbeteende regelbundet: Använd verktyg som AmICited och Cloudflares AI Crawl Control för att spåra vilka crawlers som får åtkomst till din webbplats och om de respekterar dina direktiv. Regelbunden övervakning hjälper dig att snabbt identifiera stealth-crawlers.

Implementera enhetsfingeravtryck: Använd lösningar för enhetsfingeravtryck som analyserar webbläsaregenskaper och beteendemönster för att identifiera bots som utger sig för att vara legitima användare.

Överväg autentisering för känsligt innehåll: För ditt mest värdefulla innehåll, överväg att kräva autentisering eller införa betalväggar. Detta förhindrar både legitima och stealth-crawlers från att få åtkomst till begränsat material.

Håll dig uppdaterad om crawler-taktiker: Landskapet för crawler-evasion utvecklas ständigt. Prenumerera på säkerhetsbulletiner, följ branschforskning och uppdatera ditt försvar i takt med att nya taktiker dyker upp.

Crawler-efterlevnadens framtid

Den nuvarande situationen—där vissa AI-företag öppet ignorerar robots.txt medan andra respekterar den—är ohållbar. Bransch- och regleringsinitiativ är redan på gång. Internet Engineering Task Force (IETF) arbetar med tillägg till robots.txt-specifikationen som skulle ge mer detaljerad kontroll över AI-träning och dataanvändning. Dessa tillägg skulle låta webbplatsägare ange olika policyer för sökmotorer, AI-träning och andra användningsområden.

Web Bot Auth, en ny föreslagen öppen standard, gör det möjligt för crawlers att kryptografiskt signera sina förfrågningar och därigenom bevisa sin identitet och legitimitet. OpenAI:s ChatGPT Agent implementerar redan denna standard, vilket visar att transparent, verifierbar crawleridentifiering är tekniskt möjlig.

Regleringsförändringar är också troliga. EU:s strategi för AI-reglering, kombinerat med ökande tryck från innehållsskapare och publicister, antyder att framtida regleringar kan kräva lagstadgad crawler-efterlevnad. Företag som ignorerar robots.txt kan komma att möta regleringsböter, inte bara skadat anseende.

Branschen rör sig mot en modell där transparens och efterlevnad blir konkurrensfördelar snarare än nackdelar. Företag som respekterar webbplatsägares önskemål, tydligt identifierar sina crawlers och erbjuder innehållsskapare värde bygger förtroende och långsiktiga relationer. De som förlitar sig på stealth-taktiker möter ökande tekniska, juridiska och ryktemässiga risker.

För webbplatsägare är budskapet tydligt: proaktiv övervakning och verkställighet är avgörande. Genom att implementera verktygen och metoderna ovan kan du behålla kontrollen över hur ditt innehåll används i AI-eran och samtidigt stödja utvecklingen av ansvarsfulla AI-system som respekterar det öppna internets grundläggande principer.