La parte relativa all’accesso dei crawler è imprescindibile.
Controlla il tuo robots.txt per:
# AI Crawlers - Consenti accesso
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
Se vuoi bloccare (per opt-out):
User-agent: GPTBot
Disallow: /
La nostra scoperta:
Il vecchio robots.txt bloccava GPTBot a causa di regole wildcard del 2019.
Correggere solo questo ha portato alle prime visite dei crawler AI entro 48 ore.
Controlla robots.txt prima di tutto.