Avant de s’inquiéter de la vitesse, vérifiez l’accès.
Vérifiez votre robots.txt pour :
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: ClaudeBot
User-agent: Anthropic-AI
User-agent: Google-Extended
Si l’un est bloqué, vous avez trouvé le problème.
Contrôlez les logs serveurs pour :
- Visites de GPTBot
- Visites de PerplexityBot
- Visites de ClaudeBot
- Fréquence des crawls
- Réponses réussies vs erreurs
Notre découverte :
Une section de nouveaux contenus était dans un sous-dossier /resources/ bloqué par une ancienne règle robots.txt. Le contenu n’a jamais été crawlé.
Après correction, le contenu est apparu sous 3 semaines.
Autres problèmes d’accès :
- Murs de connexion
- Nécessité de rendu JavaScript
- Vitesse de chargement très lente
- Erreurs serveur lors des visites de crawlers
Vérifiez l’accès avant de supposer un problème de découverte.