A parte do acesso do crawler é inegociável.
Verifique seu robots.txt para:
# Crawlers de IA - Permitir acesso
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
Se quiser bloquear (para opt-out):
User-agent: GPTBot
Disallow: /
Nossa descoberta:
O robots.txt legado estava bloqueando o GPTBot por regras de wildcard de 2019.
Corrigir esse único ponto trouxe as primeiras visitas de crawlers de IA em até 48 horas.
Confira o robots.txt antes de qualquer outra coisa.