Sobre el análisis de logs, esto es exactamente lo que debes buscar:
Antes del cambio en robots.txt:
Solicitudes GPTBot: 0
Solicitudes PerplexityBot: 0
Después del cambio en robots.txt (si funciona):
Solicitudes GPTBot: 50-200+ en la primera semana
Solicitudes PerplexityBot: 30-100+ en la primera semana
Si no ves actividad de crawlers IA dentro de 48-72 horas tras el cambio en robots.txt, algo anda mal:
- Verifica que el cambio está en vivo
- Comprueba que no haya otro bloqueo (meta tags, etc.)
- Asegura crawlabilidad técnica (sin errores de servidor)
Nuestros datos tras permitir crawlers IA:
- Día 1-2: Primera visita de GPTBot
- Día 3-7: 150 solicitudes entre bots IA
- Semana 2: Patrón de crawl establecido (visitas diarias)
Este es tu primer punto de validación.