Concernant l’analyse des logs - voici exactement ce qu’il faut regarder :
Avant la modification du robots.txt :
Requêtes GPTBot : 0
Requêtes PerplexityBot : 0
Après modification du robots.txt (si cela fonctionne) :
Requêtes GPTBot : 50-200+ la première semaine
Requêtes PerplexityBot : 30-100+ la première semaine
Si vous ne voyez pas d’activité de crawlers IA dans les 48-72 heures suivant la modification du robots.txt, il y a un problème :
- Vérifiez si la modification est bien en ligne
- Assurez-vous qu’il n’y a pas d’autres blocages (balises meta, etc.)
- Vérifiez la crawlabilité technique (pas d’erreurs serveur)
Nos données après avoir autorisé les crawlers IA :
- Jour 1-2 : Première visite de GPTBot
- Jour 3-7 : 150 requêtes sur les bots IA
- Semaine 2 : Modèle de crawl établi (visites quotidiennes)
C’est votre premier point de validation.