La parte del acceso del rastreador es innegociable.
Revisa tu robots.txt para:
# Rastreador IA - Permitir acceso
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
Si quieres bloquear (para excluir):
User-agent: GPTBot
Disallow: /
Nuestro descubrimiento:
El robots.txt antiguo estaba bloqueando GPTBot debido a reglas comodín desde 2019.
Corregir ese único problema llevó a que los rastreadores de IA visitaran por primera vez en 48 horas.
Revisa robots.txt antes que cualquier otra cosa.