Pourquoi certains crawlers IA ignorent le robots.txt : problèmes de crawling furtif

L’essor du crawling furtif dans l’IA

Le crawling web a été fondamentalement transformé avec l’émergence des systèmes d’intelligence artificielle. Contrairement aux moteurs de recherche traditionnels qui respectent les protocoles établis, certaines entreprises d’IA ont adopté le crawling furtif — déguisant délibérément l’activité de leur bot pour contourner les restrictions des sites et les directives du robots.txt. Cette pratique marque une rupture majeure avec la relation collaborative qui a défini le crawling web depuis près de trente ans, soulevant des questions cruciales sur la propriété des contenus, l’éthique des données et l’avenir d’Internet ouvert.

L’exemple le plus emblématique concerne Perplexity AI, un moteur de réponses basé sur l’IA qui a été surpris en train d’utiliser des crawlers non déclarés pour accéder à du contenu explicitement bloqué par les propriétaires de sites. L’enquête de Cloudflare a révélé que Perplexity maintient à la fois des crawlers déclarés (qui s’identifient honnêtement) et des crawlers furtifs (qui se font passer pour des navigateurs web classiques) afin de contourner les tentatives de blocage. Cette stratégie à double crawler permet à Perplexity de continuer à collecter du contenu même lorsque les sites interdisent explicitement leur accès via les fichiers robots.txt et les règles de pare-feu.

Comprendre le robots.txt et ses limites

Le fichier robots.txt constitue le principal mécanisme de gestion des crawlers sur Internet depuis 1994, date de son introduction comme partie du Robots Exclusion Protocol. Ce simple fichier texte, placé à la racine d’un site, contient des directives indiquant aux crawlers quelles parties du site ils peuvent ou non explorer. Une entrée typique dans robots.txt ressemble à ceci :

User-agent: GPTBot
Disallow: /

Cette instruction indique au crawler GPTBot d’OpenAI d’éviter tout accès au contenu du site. Cependant, le robots.txt repose sur un principe fondamental : il est entièrement volontaire. Les instructions du robots.txt ne peuvent pas imposer un comportement aux crawlers ; c’est au crawler de choisir de les respecter. Si Googlebot et d’autres crawlers respectables les honorent, le protocole ne prévoit aucun mécanisme de contrainte. Un crawler peut tout simplement ignorer le robots.txt, et il n’existe aucun moyen technique de l’en empêcher.

La distinction entre les crawlers respectueux et les crawlers voyous devient de plus en plus importante. Les entreprises d’IA réputées comme OpenAI et Anthropic publient leurs plages d’IP, maintiennent une documentation transparente et respectent les préférences des propriétaires de sites. À l’inverse, les crawlers furtifs cachent délibérément leur identité et ignorent les directives des sites, considérant le robots.txt comme un obstacle à contourner plutôt qu’une consigne à suivre.

Étude de cas Perplexity : tactiques furtives exposées

L’enquête détaillée de Cloudflare sur le comportement de crawling de Perplexity fournit la documentation la plus complète à ce jour sur les tactiques de crawling furtif. L’équipe de recherche a créé plusieurs domaines de test avec des directives robots.txt interdisant explicitement tout accès automatisé. Malgré ces restrictions, Perplexity continuait de fournir des informations détaillées sur le contenu de ces domaines testés lorsqu’on l’interrogeait via son interface IA.

L’enquête a révélé une stratégie de crawling sophistiquée à deux volets. Le crawler déclaré de Perplexity (Perplexity-User) effectue 20 à 25 millions de requêtes quotidiennes et s’identifie honnêtement. Cependant, lorsque ce crawler déclaré rencontre un blocage réseau ou une restriction robots.txt, Perplexity déploie un crawler furtif non déclaré qui effectue 3 à 6 millions de requêtes supplémentaires chaque jour tout en se faisant passer pour un navigateur Chrome légitime sur macOS. Cette variante furtive utilise la chaîne user agent générique : Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36.

Le crawler furtif combine plusieurs techniques d’évasion. Il fait tourner des adresses IP non listées dans la documentation officielle de Perplexity, rendant impossible le blocage par les propriétaires de sites sur la base des infrastructures connues de Perplexity. De plus, le crawler change d’ASN (numéro de système autonome — identifiant de fournisseur réseau) pour obscurcir davantage son origine. Cette activité a été observée sur des dizaines de milliers de domaines, générant des millions de requêtes par jour.

En contraste flagrant, lors de tests identiques avec ChatGPT, Cloudflare a constaté un comportement fondamentalement différent. ChatGPT-User récupérait le fichier robots.txt, reconnaissait la directive de blocage et cessait immédiatement toute tentative de crawling. Face à un blocage réseau, ChatGPT n’effectuait aucune tentative de suivi depuis d’autres user agents ou adresses IP. Cela prouve que le respect du robots.txt est techniquement possible et que les entreprises choisissant de l’ignorer prennent une décision commerciale délibérée, et non parce qu’elles y sont contraintes techniquement.

Mécanismes techniques du crawling furtif

Les crawlers furtifs utilisent un arsenal sophistiqué de techniques pour échapper à la détection et contourner les restrictions des sites. Comprendre ces mécanismes est essentiel pour développer des contre-mesures efficaces :

• Usurpation d’user agent : Les crawlers se font passer pour des navigateurs légitimes en adoptant des chaînes user agent réalistes correspondant à Chrome, Safari ou Firefox. Ils deviennent ainsi indiscernables d’un visiteur humain à première vue.

• Rotation d’IP et réseaux proxy : Plutôt que de crawler depuis une seule IP ou une plage de datacenter connue, les crawlers furtifs répartissent leurs requêtes sur des centaines ou milliers d’IP différentes, souvent via des réseaux proxy résidentiels qui routent le trafic via de vraies connexions domestiques.

• Rotation d’ASN : En changeant de numéro de système autonome (identifiant de fournisseur réseau), les crawlers semblent provenir de différents fournisseurs d’accès, rendant le blocage par IP inefficace.

• Simulation de navigateur headless : Les crawlers furtifs modernes exécutent de vrais moteurs de navigateur (Chrome Headless, Puppeteer, Playwright) qui interprètent JavaScript, maintiennent les cookies et simulent des interactions réalistes (mouvements de souris, délais aléatoires).

• Manipulation du rythme : Au lieu d’enchaîner les requêtes rapidement (ce qui trahit un bot), les crawlers sophistiqués introduisent des délais variables entre les requêtes, imitant un comportement humain.

• Randomisation de l’empreinte : Les crawlers randomisent leur empreinte (résolution d’écran, fuseau horaire, polices installées, signatures TLS, etc.) pour éviter la détection par fingerprinting.

Ces techniques sont combinées, créant une stratégie d’évasion multicouche qui déjoue les méthodes de détection classiques. Un crawler peut ainsi usurper son user agent, passer par un proxy résidentiel, introduire des délais aléatoires et randomiser son empreinte, devenant virtuellement indiscernable du trafic légitime.

Pourquoi les entreprises ignorent le robots.txt

La décision de déployer des crawlers furtifs est fondamentalement motivée par la soif de données. L’entraînement des grands modèles de langage de pointe exige des quantités massives de données textuelles de haute qualité. Or, le contenu le plus précieux — recherches propriétaires, articles payants, discussions de forums exclusives, bases de connaissances spécialisées — est souvent explicitement restreint par les sites. Les entreprises font face à un choix : respecter les préférences des sites et se contenter de données de moindre qualité, ou contourner les restrictions pour accéder au contenu premium.

La pression concurrentielle est intense. Les entreprises d’IA investissant des milliards dans le développement de modèles pensent que la supériorité des données d’entraînement se traduit directement par la supériorité des modèles, donc par un avantage sur le marché. Quand les concurrents acceptent de scraper du contenu restreint, respecter le robots.txt devient un désavantage concurrentiel, créant une dynamique de nivellement par le bas où l’éthique est pénalisée.

De plus, les mécanismes de contrainte sont quasiment inexistants. Les propriétaires de sites ne peuvent pas techniquement empêcher un crawler déterminé d’accéder à leur contenu. Les recours juridiques sont lents, coûteux et incertains. À moins d’engager une action en justice — ce que peu d’organisations peuvent se permettre — un crawler voyou ne subit aucune conséquence immédiate. Le calcul risque-récompense favorise largement l’ignorance du robots.txt.

Le paysage juridique reste également ambigu. Si violer le robots.txt peut enfreindre les conditions d’utilisation, la légalité du scraping d’informations publiques varie selon les juridictions. Certains tribunaux ont jugé le scraping de données publiques légal, d’autres y voient une infraction à la loi Computer Fraud and Abuse Act. Cette incertitude encourage les entreprises prêtes à naviguer dans la zone grise.

Impact sur les créateurs de contenus et les éditeurs

Les conséquences du crawling furtif dépassent de loin l’inconvénient technique. Reddit a découvert que son contenu généré par les utilisateurs servait à entraîner des modèles IA sans autorisation ni compensation. En réponse, la plateforme a fortement augmenté le prix de son API pour facturer spécifiquement les entreprises d’IA, son PDG Steve Huffman dénonçant explicitement Microsoft, OpenAI, Anthropic et Perplexity pour avoir « utilisé les données de Reddit gratuitement ».

Twitter/X a adopté une position encore plus radicale, bloquant temporairement tout accès non authentifié aux tweets et appliquant des limites strictes même pour les utilisateurs connectés. Elon Musk a explicitement déclaré qu’il s’agissait d’une mesure d’urgence pour stopper « des centaines d’organisations » qui scrapaient les données Twitter, dégradant l’expérience utilisateur et consommant massivement les ressources serveurs.

Les éditeurs de presse ont été particulièrement vocaux. Le New York Times, CNN, Reuters et The Guardian ont tous mis à jour leur robots.txt pour bloquer GPTBot d’OpenAI. Certains ont engagé des poursuites, comme le New York Times qui attaque OpenAI pour violation de droits d’auteur. L’Associated Press a préféré négocier un accord de licence avec OpenAI pour fournir certains contenus en échange de l’accès à la technologie d’OpenAI — une des premières ententes commerciales du genre.

Stack Overflow a subi des opérations de scraping coordonnées au cours desquelles des attaquants ont créé des milliers de comptes et utilisé des techniques sophistiquées pour se fondre parmi les utilisateurs légitimes tout en récoltant des exemples de code. L’équipe d’ingénierie de la plateforme a documenté comment les scrapers utilisaient des empreintes TLS identiques sur de nombreuses connexions, maintenaient des sessions persistantes et payaient même des comptes premium pour échapper à la détection.

Le fil conducteur dans tous ces cas est la perte de contrôle. Les créateurs de contenu ne peuvent plus déterminer l’usage de leur travail, qui en bénéficie ni s’ils sont rémunérés. Cela représente un bouleversement fondamental de l’équilibre des pouvoirs sur Internet.

Solutions de détection et d’application

Heureusement, des outils sophistiqués voient le jour pour détecter et bloquer les crawlers furtifs. AI Crawl Control de Cloudflare (anciennement AI Audit) offre une visibilité sur les services IA accédant à votre contenu et sur leur respect des consignes robots.txt. La nouvelle fonctionnalité Robotcop va plus loin en traduisant automatiquement les directives du robots.txt en règles de pare-feu (WAF) qui imposent le respect des consignes au niveau réseau.

Le fingerprinting d’appareils est une technique de détection puissante. En analysant de nombreux signaux — version du navigateur, résolution d’écran, système d’exploitation, polices installées, signatures TLS, comportements — les systèmes de sécurité peuvent repérer des incohérences révélatrices d’une activité de bot. Un crawler se faisant passer pour Chrome sur macOS peut avoir une empreinte TLS qui ne correspond pas à celle d’un vrai Chrome, ou manquer certaines API de navigateur.

L’analyse comportementale examine la façon dont les visiteurs interagissent avec votre site. Les vrais utilisateurs suivent des schémas naturels : ils lisent, naviguent logiquement, commettent et corrigent des erreurs. Les bots présentent souvent des schémas suspects : accès aux pages dans des séquences anormales, chargement de ressources dans un ordre inhabituel, absence d’interaction avec les éléments interactifs ou accès à des vitesses impossibles.

La limitation de débit reste efficace lorsqu’elle est combinée à d’autres techniques. En imposant des limites strictes par IP, session ou compte utilisateur, les organisations peuvent ralentir les scrapers au point de rendre l’opération non rentable. Le backoff exponentiel — chaque infraction augmente le délai d’attente — décourage encore plus les attaques automatisées.

AmICited : surveiller le comportement des crawlers IA

AmICited répond à un manque critique : offrir de la visibilité sur les systèmes d’IA qui citent réellement votre marque et votre contenu. Là où des outils comme AI Crawl Control de Cloudflare indiquent quels crawlers accèdent à votre site, AmICited va plus loin en suivant quels systèmes IA — ChatGPT, Perplexity, Google Gemini, Claude, etc. — font effectivement référence à votre contenu dans leurs réponses.

Cette distinction est cruciale. Ce n’est pas parce qu’un crawler visite votre site que votre contenu sera cité. Inversement, votre contenu peut être cité par des IA y ayant accédé indirectement (données Common Crawl, etc.) sans crawling direct. AmICited apporte la donnée manquante : la preuve que votre contenu est utilisé par des IA, avec des informations détaillées sur la façon dont il est référencé.

La plateforme identifie les crawlers furtifs accédant à votre contenu en analysant les schémas de trafic, les user agents et les signaux comportementaux. Lorsqu’AmICited détecte une activité suspecte — notamment des crawlers non déclarés utilisant des user agents usurpés — elle signale ces tentatives de crawling furtif. Cela permet aux propriétaires de sites d’agir contre les crawlers non conformes tout en gardant une visibilité sur les accès IA légitimes.

Des alertes en temps réel vous informent lors de la détection de crawlers furtifs, permettant une réaction rapide. L’intégration avec vos flux SEO et sécurité vous permet d’incorporer les données AmICited à votre stratégie de contenu et à votre posture de sécurité. Pour les organisations soucieuses de l’utilisation de leur contenu à l’ère de l’IA, AmICited fournit une intelligence indispensable.

Bonnes pratiques pour se protéger

Protéger son contenu contre les crawlers furtifs requiert une approche multicouche :

Mettez en place des politiques robots.txt claires : Même si les crawlers furtifs peuvent ignorer le robots.txt, les crawlers conformes le respecteront. Interdisez explicitement les crawlers que vous ne souhaitez pas voir accéder à votre contenu. Ajoutez des directives pour les crawlers IA connus (GPTBot, ClaudeBot, Google-Extended…).

Déployez des règles WAF : Utilisez un pare-feu applicatif (WAF) pour appliquer vos consignes robots.txt au niveau réseau. Des outils comme Robotcop de Cloudflare peuvent générer ces règles automatiquement à partir de votre robots.txt.

Surveillez régulièrement le comportement des crawlers : Utilisez des outils comme AmICited et AI Crawl Control de Cloudflare pour suivre quels crawlers accèdent à votre site et leur respect des consignes. Une surveillance régulière permet de détecter rapidement les crawlers furtifs.

Implémentez le fingerprinting d’appareils : Déployez des solutions de fingerprinting qui analysent les caractéristiques du navigateur et les schémas comportementaux pour identifier les bots se faisant passer pour des utilisateurs légitimes.

Considérez l’authentification pour les contenus sensibles : Pour vos contenus les plus précieux, envisagez d’exiger une authentification ou de mettre en place un paywall. Cela empêche les crawlers — légitimes ou furtifs — d’accéder au contenu restreint.

Restez informé des tactiques des crawlers : Les techniques d’évasion évoluent sans cesse. Abonnez-vous aux bulletins de sécurité, suivez la recherche sectorielle et mettez à jour vos défenses face aux nouvelles tactiques.

L’avenir de la conformité des crawlers

La situation actuelle — certaines entreprises d’IA ignorant ouvertement le robots.txt tandis que d’autres le respectent — n’est pas tenable. Des réponses industrielles et réglementaires émergent déjà. L’Internet Engineering Task Force (IETF) travaille sur des extensions du robots.txt qui offriraient un contrôle plus granulaire sur l’entraînement IA et l’utilisation des données. Ces extensions permettraient aux sites de spécifier différentes politiques pour les moteurs de recherche, l’entraînement IA et d’autres usages.

Web Bot Auth, une nouvelle norme ouverte proposée, permet aux crawlers de signer cryptographiquement leurs requêtes, prouvant ainsi leur identité et leur légitimité. L’agent ChatGPT d’OpenAI implémente déjà cette norme, démontrant que l’identification transparente et vérifiable des crawlers est techniquement possible.

Des évolutions réglementaires sont aussi probables. L’approche de l’Union européenne en matière de régulation de l’IA, conjuguée à la pression croissante des créateurs de contenu et des éditeurs, suggère que de futures lois pourraient imposer le respect du robots.txt. Les entreprises qui l’ignorent pourraient bientôt s’exposer à des sanctions réglementaires, et pas seulement à une dégradation de leur réputation.

L’industrie évolue vers un modèle où la transparence et la conformité deviennent des avantages concurrentiels plutôt que des handicaps. Les entreprises qui respectent les préférences des propriétaires de sites, identifient clairement leurs crawlers et offrent une valeur aux créateurs de contenu construiront des relations de confiance et durables. Celles qui misent sur les tactiques furtives courent des risques techniques, juridiques et réputationnels croissants.

Pour les propriétaires de sites, le message est clair : la surveillance et l’application proactives sont essentielles. En appliquant les outils et pratiques évoqués ci-dessus, vous pouvez garder la main sur l’utilisation de votre contenu à l’ère de l’IA, tout en soutenant le développement de systèmes IA responsables qui respectent les principes fondateurs d’Internet ouvert.