Partea cu accesul crawler-ului nu e negociabilă.
Verifică robots.txt pentru:
# AI Crawlers - Permite accesul
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
Dacă vrei să blochezi (pentru opt-out):
User-agent: GPTBot
Disallow: /
Descoperirea noastră:
Un robots.txt vechi bloca GPTBot din cauza regulilor wildcard din 2019.
Rezolvarea acestei probleme a dus la primele vizite ale crawler-elor AI în 48 de ore.
Verifică robots.txt înainte de orice altceva.