Perché alcuni crawler AI ignorano robots.txt: problemi di crawling stealth

L’ascesa del crawling stealth nell’AI

Il web crawling si è trasformato radicalmente con l’emergere dei sistemi di intelligenza artificiale. A differenza dei motori di ricerca tradizionali che rispettano i protocolli consolidati, alcune aziende AI hanno adottato il crawling stealth—mascherando deliberatamente l’attività dei loro bot per bypassare le restrizioni dei siti e le direttive di robots.txt. Questa pratica rappresenta una significativa rottura con la relazione collaborativa che ha caratterizzato il web crawling per quasi tre decenni, sollevando interrogativi cruciali su proprietà dei contenuti, etica dei dati e futuro di Internet aperta.

L’esempio più eclatante riguarda Perplexity AI, un motore di risposta alimentato da AI, che è stato scoperto utilizzare crawler non dichiarati per accedere a contenuti esplicitamente bloccati dai proprietari dei siti. L’indagine di Cloudflare ha rivelato che Perplexity mantiene sia crawler dichiarati (che si identificano onestamente) sia crawler stealth (che impersonano browser web normali) per aggirare i tentativi di blocco. Questa strategia a doppio crawler consente a Perplexity di continuare a raccogliere contenuti anche quando i siti web vietano esplicitamente l’accesso tramite robots.txt e regole di firewall.

Capire robots.txt e i suoi limiti

Il file robots.txt è stato dal 1994 il principale meccanismo di gestione dei crawler su Internet, introdotto come parte del Robots Exclusion Protocol. Questo semplice file di testo, posto nella directory root di un sito, contiene direttive che dicono ai crawler quali parti possono o non possono visitare. Un tipico esempio di robots.txt potrebbe essere:

User-agent: GPTBot
Disallow: /

Questa istruzione comunica al crawler GPTBot di OpenAI di evitare qualsiasi accesso al sito. Tuttavia, robots.txt si basa su un principio fondamentale: è completamente volontario. Le istruzioni nei file robots.txt non possono forzare il comportamento dei crawler; sta al crawler rispettarle. Mentre Googlebot e altri crawler rispettabili obbediscono a queste direttive, il protocollo non ha alcun meccanismo di enforcement. Un crawler può semplicemente ignorare robots.txt, senza alcun modo tecnico per impedirglielo.

La distinzione tra crawler rispettosi e rogue sta diventando sempre più importante. Aziende AI affidabili come OpenAI e Anthropic pubblicano i propri intervalli IP, mantengono documentazione trasparente e rispettano le preferenze dei proprietari dei siti. Al contrario, i crawler stealth nascondono deliberatamente la propria identità e ignorano le direttive dei siti, trattando robots.txt come un ostacolo da superare piuttosto che come una linea guida da seguire.

Il caso Perplexity: tattiche stealth svelate

L’indagine dettagliata di Cloudflare sul comportamento di crawling di Perplexity fornisce la documentazione più completa sulle tattiche stealth finora. Il team di ricerca ha creato più domini di test con direttive robots.txt esplicite che vietavano qualsiasi accesso automatizzato. Nonostante queste restrizioni chiare, Perplexity ha continuato a fornire informazioni dettagliate sui contenuti dei domini di test quando interrogata tramite la propria interfaccia AI.

L’indagine ha rivelato una sofisticata strategia di crawling a due livelli. Il crawler dichiarato di Perplexity (Perplexity-User) effettua 20-25 milioni di richieste giornaliere e si identifica onestamente. Tuttavia, quando questo crawler incontra un blocco di rete o una restrizione robots.txt, Perplexity schiera un crawler stealth non dichiarato che effettua ulteriori 3-6 milioni di richieste al giorno impersonando un browser Chrome legittimo su macOS. Questa variante stealth utilizza la stringa user agent generica: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36.

Il crawler stealth impiega tecniche di elusione multiple e simultanee. Ruota tra indirizzi IP non inclusi nella documentazione ufficiale di Perplexity, rendendo impossibile ai proprietari dei siti bloccare in base all’infrastruttura nota. Inoltre, cambia i propri Autonomous System Number (ASN)—gli identificatori dei fornitori di rete—per oscurare ulteriormente l’origine. Questa attività è stata osservata su decine di migliaia di domini, generando milioni di richieste ogni giorno.

In netto contrasto, quando Cloudflare ha condotto test identici con ChatGPT, ha riscontrato un comportamento completamente diverso. ChatGPT-User recuperava il file robots.txt, riconosceva la direttiva di disallow e cessava immediatamente i tentativi di crawling. In presenza di un blocco a livello di rete, ChatGPT non effettuava ulteriori tentativi con altri user agent o IP. Ciò dimostra che il comportamento conforme è tecnicamente possibile e che le aziende che scelgono di ignorare robots.txt fanno una scelta di business consapevole, non dettata da limiti tecnici.

Meccanismi tecnici del crawling stealth

I crawler stealth utilizzano un arsenale sofisticato di tecniche per eludere il rilevamento e bypassare le restrizioni dei siti. Comprendere questi meccanismi è essenziale per sviluppare contromisure efficaci:

• Spoofing dello user agent: i crawler si spacciano per browser legittimi adottando stringhe user agent realistiche che imitano Chrome, Safari o Firefox. Così risultano indistinguibili dai visitatori umani a una prima analisi.

• Rotazione IP e proxy network: invece di operare da un singolo IP o da un range di data center noto, i crawler stealth distribuiscono le richieste su centinaia o migliaia di indirizzi IP diversi, spesso usando proxy residenziali che passano il traffico attraverso connessioni domestiche reali.

• Rotazione ASN: cambiando l’Autonomous System Number (identificativo del provider di rete), i crawler sembrano provenire da diversi ISP, rendendo inefficaci i blocchi basati su IP.

• Simulazione di browser headless: i crawler stealth moderni eseguono veri motori browser (Chrome Headless, Puppeteer, Playwright) che eseguono JavaScript, gestiscono cookie e simulano interazioni realistiche come movimenti del mouse e ritardi casuali.

• Manipolazione del rate: invece di inviare richieste rapide e sequenziali che attiverebbero i sistemi di rate-limit, i crawler sofisticati inseriscono ritardi variabili tra le richieste, imitando la navigazione umana.

• Randomizzazione delle impronte digitali: i crawler randomizzano le impronte del browser—caratteristiche come risoluzione schermo, fuso orario, font installati, firme TLS—per evitare il rilevamento dai sistemi di fingerprinting.

Queste tecniche vengono combinate, creando una strategia di elusione multilivello che sconfigge i metodi di rilevamento tradizionali. Un crawler può contemporaneamente usare uno user agent falsificato, instradare tramite proxy residenziale, introdurre ritardi casuali e randomizzare le impronte digitali, risultando virtualmente indistinguibile dal traffico legittimo.

Perché le aziende ignorano robots.txt

La scelta di usare crawler stealth è guidata fondamentalmente dalla fame di dati. L’addestramento di modelli linguistici di ultima generazione richiede enormi quantità di dati testuali di alta qualità. I contenuti più preziosi—ricerche proprietarie, articoli a pagamento, discussioni esclusive, knowledge base specializzate—sono spesso esplicitamente limitati dai proprietari dei siti. Le aziende devono scegliere: rispettare le preferenze dei siti e accontentarsi di dati di qualità inferiore, oppure bypassare le restrizioni per accedere a contenuti premium.

La pressione competitiva è altissima. Le aziende AI che investono miliardi nello sviluppo dei modelli credono che dati migliori portino a modelli migliori e quindi a un vantaggio di mercato. Se i concorrenti sono disposti a fare scraping di contenuti protetti, rispettare robots.txt diventa uno svantaggio competitivo. Si crea così una dinamica al ribasso dove il comportamento etico viene penalizzato dal mercato.

Inoltre, i meccanismi di enforcement sono praticamente inesistenti. I proprietari dei siti non possono tecnicamente impedire a un crawler determinato di accedere ai loro contenuti. I rimedi legali sono lenti, costosi e incerti. A meno che un sito non intraprenda azioni legali formali—che richiedono risorse che la maggior parte delle organizzazioni non ha—un crawler rogue non affronta conseguenze immediate. Il calcolo rischio-beneficio è tutto a favore dell’ignorare robots.txt.

Anche il quadro legale rimane incerto. Sebbene la violazione di robots.txt possa infrangere i termini di servizio, lo scraping di dati pubblici è variabile a seconda delle giurisdizioni. Alcuni tribunali hanno stabilito che lo scraping di dati pubblici è legale, altri lo hanno considerato una violazione del Computer Fraud and Abuse Act. Questa incertezza incoraggia le aziende che vogliono operare nell’area grigia.

L’impatto su creatori e editori di contenuti

Le conseguenze del crawling stealth vanno ben oltre il fastidio tecnico. Reddit ha scoperto che i suoi contenuti generati dagli utenti venivano usati per addestrare modelli AI senza permesso né compenso. In risposta, la piattaforma ha aumentato drasticamente i prezzi delle API proprio per far pagare le aziende AI per l’accesso ai dati, con il CEO Steve Huffman che ha esplicitamente chiamato in causa Microsoft, OpenAI, Anthropic e Perplexity per “aver usato i dati di Reddit gratuitamente”.

Twitter/X ha adottato una posizione ancora più dura, bloccando temporaneamente l’accesso non autenticato ai tweet e imponendo limiti severi agli utenti autenticati. Elon Musk ha dichiarato che si trattava di una misura d’emergenza per fermare “centinaia di organizzazioni” dallo scraping dei dati Twitter, che degradava l’esperienza utente e consumava enormi risorse server.

Gli editori di notizie sono stati particolarmente vocali contro la minaccia. The New York Times, CNN, Reuters e The Guardian hanno aggiornato i loro robots.txt per bloccare GPTBot di OpenAI. Alcuni editori hanno avviato azioni legali, come il New York Times che ha intentato causa per violazione di copyright contro OpenAI. L’Associated Press ha invece negoziato una licenza con OpenAI per fornire contenuti selezionati in cambio dell’accesso alla tecnologia di OpenAI—uno dei primi accordi commerciali di questo tipo.

Stack Overflow ha subito operazioni di scraping coordinate in cui attaccanti creavano migliaia di account e usavano tecniche sofisticate per mimetizzarsi da utenti legittimi mentre raccoglievano esempi di codice. Il team di ingegneri ha documentato come gli scraper usino impronte TLS identiche su molte connessioni, mantengano sessioni persistenti e addirittura paghino account premium per evitare il rilevamento.

Il filo conduttore di questi casi è la perdita di controllo. I creatori di contenuti non possono più decidere come viene usato il proprio lavoro, chi ne trae beneficio o se ricevono compensi. Questo rappresenta un cambiamento fondamentale nei rapporti di potere su Internet.

Soluzioni di rilevamento e enforcement

Fortunatamente, stanno emergendo strumenti sofisticati per rilevare e bloccare i crawler stealth. AI Crawl Control di Cloudflare (ex AI Audit) offre visibilità su quali servizi AI accedono ai tuoi contenuti e se rispettano le tue direttive robots.txt. La nuova funzione Robotcop della piattaforma va oltre, traducendo automaticamente le direttive robots.txt in regole WAF che impongono la compliance a livello di rete.

Il device fingerprinting è una tecnica potente di rilevamento. Analizzando decine di segnali—versione del browser, risoluzione schermo, sistema operativo, font installati, firme TLS, pattern comportamentali—i sistemi di sicurezza possono individuare incongruenze che rivelano l’attività di bot. Un crawler che si spaccia per Chrome su macOS potrebbe avere una firma TLS che non corrisponde ai veri browser Chrome, o potrebbe non esporre certe API come i browser reali.

L’analisi comportamentale esamina come i visitatori interagiscono col sito. Gli utenti reali mostrano pattern naturali: leggono il contenuto, navigano logicamente tra le pagine, commettono errori e li correggono. I bot spesso manifestano pattern sospetti: accedono alle pagine in sequenze innaturali, caricano risorse in ordine anomalo, non interagiscono mai con elementi interattivi o accedono alle pagine a velocità impossibili.

Il rate limiting resta efficace se combinato con altre tecniche. Imporre limiti rigidi di richieste per IP, sessione o account rallenta gli scraper fino a rendere l’operazione antieconomica. L’exponential backoff—dove ogni violazione aumenta il tempo di attesa—scoraggia ulteriormente gli attacchi automatizzati.

AmICited: monitoraggio dei crawler AI

AmICited colma un gap critico nell’attuale scenario: visibilità su quali sistemi AI citano effettivamente il tuo brand e i tuoi contenuti. Se strumenti come AI Crawl Control di Cloudflare mostrano quali crawler accedono al tuo sito, AmICited va oltre tracciando quali sistemi AI—ChatGPT, Perplexity, Google Gemini, Claude e altri—stanno effettivamente referenziando i tuoi contenuti nelle loro risposte.

Questa distinzione è cruciale. Il fatto che un crawler acceda al tuo sito non implica che i tuoi contenuti verranno citati. Al contrario, i tuoi contenuti potrebbero essere citati da sistemi AI che li hanno acquisiti tramite mezzi indiretti (come i dataset di Common Crawl) invece che tramite crawling diretto. AmICited fornisce il tassello mancante: la prova che i tuoi contenuti vengono usati dai sistemi AI, insieme a dettagli su come vengono referenziati.

La piattaforma identifica i crawler stealth che accedono ai tuoi contenuti analizzando pattern di traffico, user agent e segnali comportamentali. Quando AmICited rileva attività sospetta—soprattutto da crawler non dichiarati con user agent falsificati—li segnala come tentativi potenziali di crawling stealth. Questo permette ai proprietari dei siti di agire contro i crawler non conformi mantenendo al contempo la visibilità sugli accessi AI legittimi.

Avvisi in tempo reale ti segnalano la presenza di crawler stealth, consentendo una risposta rapida. L’integrazione con i flussi SEO e di sicurezza esistenti ti permette di includere i dati AmICited nella tua strategia di contenuti e sicurezza. Per le organizzazioni preoccupate dell’uso dei propri contenuti nell’era AI, AmICited offre un’intelligence essenziale.

Best practice per la protezione

Proteggere i tuoi contenuti dai crawler stealth richiede un approccio multilivello:

Implementa direttive robots.txt chiare: anche se i crawler stealth potrebbero ignorare robots.txt, quelli conformi lo rispetteranno. Escludi esplicitamente i crawler che non vuoi accedano ai tuoi contenuti. Includi direttive per i noti crawler AI come GPTBot, ClaudeBot e Google-Extended.

Applica regole WAF: usa regole Web Application Firewall per far rispettare le tue direttive robots.txt a livello di rete. Strumenti come Robotcop di Cloudflare possono generare automaticamente queste regole dal tuo file robots.txt.

Monitora regolarmente il comportamento dei crawler: utilizza strumenti come AmICited e AI Crawl Control di Cloudflare per tracciare quali crawler accedono al tuo sito e se rispettano le tue direttive. Il monitoraggio regolare ti aiuta a individuare rapidamente i crawler stealth.

Implementa il device fingerprinting: adotta soluzioni di fingerprinting che analizzano le caratteristiche del browser e i pattern comportamentali per individuare i bot che si spacciano per utenti legittimi.

Valuta l’autenticazione per i contenuti sensibili: per i tuoi contenuti più preziosi, valuta l’autenticazione o i paywall. Questo impedisce sia ai crawler legittimi sia a quelli stealth di accedere ai materiali protetti.

Rimani aggiornato sulle tattiche dei crawler: il panorama delle tecniche di elusione evolve costantemente. Segui bollettini di sicurezza, ricerche di settore e aggiorna le difese man mano che emergono nuove tattiche.

Il futuro della compliance dei crawler

La situazione attuale—con alcune aziende AI che ignorano apertamente robots.txt e altre che lo rispettano—non è sostenibile. Stanno già emergendo risposte dall’industria e dai regolatori. L’Internet Engineering Task Force (IETF) sta lavorando a estensioni della specifica robots.txt che permetteranno un controllo più granulare su training AI e uso dei dati. Queste estensioni consentiranno ai proprietari dei siti di specificare policy diverse per motori di ricerca, training AI e altri casi d’uso.

Web Bot Auth, un nuovo standard aperto proposto, permette ai crawler di firmare crittograficamente le richieste, dimostrando identità e legittimità. L’Agent di ChatGPT di OpenAI sta già implementando questo standard, dimostrando che l’identificazione trasparente e verificabile dei crawler è tecnicamente possibile.

Anche i cambiamenti regolatori sono probabili. L’approccio dell’Unione Europea alla regolamentazione AI, insieme alla crescente pressione di creatori e editori, suggerisce che in futuro potrebbero essere imposti obblighi legali per la compliance dei crawler. Le aziende che ignorano robots.txt potrebbero affrontare sanzioni regolatorie, non solo danni reputazionali.

Il settore si sta spostando verso un modello in cui trasparenza e compliance diventano vantaggi competitivi invece che passività. Le aziende che rispettano le preferenze dei proprietari dei siti, identificano chiaramente i propri crawler e offrono valore ai creatori di contenuti costruiranno fiducia e relazioni sostenibili. Chi si basa su tattiche stealth affronta rischi tecnici, legali e reputazionali crescenti.

Per i proprietari di siti web, il messaggio è chiaro: monitoraggio e enforcement proattivi sono essenziali. Implementando gli strumenti e le pratiche sopra descritte, puoi mantenere il controllo sull’uso dei tuoi contenuti nell’era dell’AI, sostenendo al contempo lo sviluppo di sistemi AI responsabili che rispettino i principi fondanti di Internet aperta.